Система оценивания игр

[Pukkaras]

На встрече было предложено несколько альтернативных вариантов подсчета баллов за организованную игру, соответственно к концу первого сезона предлагается выбрать один из следующих вариантов:

- Система Протестов с методичкой и супервайзером. Была предложена и ПАлтусом и Димой Cancellarius.
- Система Предложенная Фомкой , допускающая получение баллов в пределах от -10 до 10.
- Изменение коэффициентов.
- Остается нынешняя .

Изменения пунктов правил связанных с данным вопросом вступят в силу со следующего сезона, голосование будет проведено к концу текущего. В этой теме ведем обсуждение данного вопроса.

. . Название Описание Преимущества Сравнение и примеры Автор . Фомкино предложение Математически оно выражается формулой: MAX(<среднее взвешенное от оценок по шкалам от 0 до 5> *4 - 10, 0) Можно также модифицировать формулу, вычитая не 10, а 9, чтобы максимальный возможный балл за игру по-прежнему равнялся 11ти. Предложение связано с тем, что сейчас оценки за игры завышены. Самая низкая оценка, полученная командой, была 8 баллов, что равносильно второму месту. И это за игру, где было снято 2 задания из 7!! Если объяснять словами, сравнивая с текущей системой, то можно сказать примерно следующее: команда будет получать положительные очки за организацию только в том случае, если её оценка по текущей шкале выше 5.5 из 11. Во всех остальных случаях она получит за организацию ноль. Кроме того, будет заметнее разница между высокими и очень высокими оценками за игру. Фомка . . Система протестов. Механизм, из максимальной оценки за игру вычитывает баллы за технические косяки и объективную лажу, перечень которой был бы закреплен в правилах. При этом команды бы просто подавали протесты списком.Далее один человек или группа людей(Алексей их супервайзерами назвал) просматривает протесты, отбрасывая одинаковые пункты и в итоге составляется общий протест по которому и вычисляется балл за игру. Эта система убрала бы левые субъективные оценки за "не вкатило", "игра отличная, но не зацепила", "мы первые, потому игра зачот", "мы последние - ИГВД". При этом система предполагала бы введения прецедентов, т.е. если в истории игр были решения за снижения общего балла за определенный косяк, то использовался б прецедент. Пример протеста: -1 балл за снятый уровень -0.5 за неточность в определении границ зоны(к примеру место одно не попало в зону) -0.2 не раскуриваемость пятого задания до первой подсказки(доказано статистикой) -0.3 ошибка в написании кода(либо сильно затерт) и.т.д Палтус Cancellarius. . . Изменение коэффициента Общая оценка от команды считается как среднее взвешенное от оценок команды по всем шкалам, умноженное на 10/5 и округлённое до тысячных. Веса шкал: "Организация" - 2, "Задания" - 1.5, "Места" - 1.5. Вес каждой из дополнительных шкал равен 1. Таким образом максимальная оценка за игру может быть 10. В начале игр, говорили, что мол все равно никто не получит 11, а необходимо дать оргам шанс получить 10 баллов хотя бы как за первое место. Но вот вам пример, Пепелац получил 11 баллов почти единогласно. Зато менее удачные игры , будут справедливо получать меньше баллов, соотвествуя занятию более низкого места по игре Pukkaras .

http://spreadsheets.google.com/ccc?k...yLVBmb0E&hl=en - можите добавлять и изменять существующие системы

[Fomka]

Ок, предложенную мной систему объяснить очень просто.
Математически она выражается формулой:
MAX(<среднее взвешенное от оценок по шкалам от 0 до 5> *4 - 10, 0)
Если объяснять словами, сравнивая с текущей системой, то можно сказать примерно следующее: команда будет получать положительные очки за организацию только в том случае, если её оценка по текущей шкале выше 5.5 из 11. Во всех остальных случаях она получит за организацию ноль. Кроме того, будет заметнее разница между высокими и очень высокими оценками за игру.
Можно также модифицировать формулу, вычитая не 10, а 9, чтобы максимальный возможный балл за игру по-прежнему равнялся 11ти.

Предложение связано с тем, что сейчас оценки за игры завышены. Самая низкая оценка, полученная командой, была 8 баллов, что равносильно второму месту. И это за игру, где было снято 2 задания из 7!!!
Если надо, могу привести пример перерасчёта оценок прошедших игр по новой шкале, как во варианте с max10, так и во варианте с max11.

[Paltus1317]

Под любую формулу результат будет подгоняться. Максимальные баллы за участие как ставили, так и будут ставить. Мое предложение все-таки попробовать раскрыть механизм проставления оценок, шкалы и абсолютные значения при этом не имеют значения. В правилах только написан максимальный балл, но при этом ни единого пояснения как и за что выставлять промежуточные баллы. Эта система не избавит от субъективности и вкусовщины, но она поможет желающим объективно и справедливо оценить игру.

[Fomka]

Сообщение от Paltus1317

Под любую формулу результат будет подгоняться. Максимальные баллы за участие как ставили, так и будут ставить. Мое предложение все-таки попробовать раскрыть механизм проставления оценок, шкалы и абсолютные значения при этом не имеют значения. В правилах только написан максимальный балл, но при этом ни единого пояснения как и за что выставлять промежуточные баллы. Эта система не избавит от субъективности и вкусовщины, но она поможет желающим объективно и справедливо оценить игру.

Так распиши подробный механизм, иначе сложно оценить, насколько это реально и работоспособно.

[DrK]

Заранее прошу прощения, ибо не был на встрече, и, вероятно, вопрос обсуждался.
Осуществлялось ли целеполагание системы оценивания игр? Грубо говоря, есть ли внятный и чёткий ответ на вопрос: зачем выставлять оценки организаторам игр? Этот вопрос не такой глупый и банальный, как кажется на первый взгляд.

[Fomka]

Сообщение от DrK

Заранее прошу прощения, ибо не был на встрече, и, вероятно, вопрос обсуждался.
Осуществлялось ли целеполагание системы оценивания игр? Грубо говоря, есть ли внятный и чёткий ответ на вопрос: зачем выставлять оценки организаторам игр? Этот вопрос не такой глупый и банальный, как кажется на первый взгляд.

Нет, это не обсуждалось, по крайней мере на западной половине стола =) Ты предлагаешь всем организаторам автоматом ставить максималку?

[Paltus1317]

Сообщение от DrK

Осуществлялось ли целеполагание системы оценивания игр? Грубо говоря, есть ли внятный и чёткий ответ на вопрос: зачем выставлять оценки организаторам игр? Этот вопрос не такой глупый и банальный, как кажется на первый взгляд.

Я согласен с идеей, что за игры оценки ставить не надо. Другое дело, что игры делают сами участники и при этом принимают участие в турнирной гонке. Возможности обязать делать в сезоне игры все команды у нас нет, в связи с этим не очень понятен механизм заполнения пустой ячейки в турнирной таблице организатору игры.

Сообщение от Fomka

Ты предлагаешь всем организаторам автоматом ставить максималку?

На нашей половине я в этом поддержал cancellarius, но не обсуждали. Я знаю, что ты считаешь это несправедливым

У нас был предложен механизм, который бы из максимальной оценки за игру вычитал баллы за технические косяки и объективную лажу, перечень которой был бы закреплен в правилах. При этом команды бы просто подавали протесты списком. Эта система убрала бы левые субъективные оценки за "не вкатило", "игра отличная, но не зацепила", "мы первые, потому игра зачот", "мы последние - ИГВД". При этом система предполагала бы введения прецедентов, т.е. если в истории игр были решения за снижения общего балла за определенный косяк, то использовался б прецедент.

[Fomka]

Сообщение от Paltus1317

Я знаю, что ты считаешь это несправедливым

Это такая же система, как и остальные... Имеет смысл услышать подробные обоснования, обсудить и проголосовать =)

[DrK]

Фомка, я предлагаю, прежде чем что-то изобретать (и уж тем более - копипастить), сначала подумать о том, зачем это делается.
С комментарием Палтуса согласен. Именно в этой области (_на_самом_деле_) случается системный затык, который все пытаются решить.

Про целеполагание: дурацкий пример из другой области. КО задания исторически оценивается по шкале от 1 до 3. Вопрос: почему именно так? Вопрос номер два: почему с течением времени к этой системе пририсовались "плюсики"?

[Pukkaras]

ППО

[грициан]

Из предложенных вариантов Фомкин больше всего нравится.
Вариант с методичкой и списком косяков имхо чушь. Жизнь может преподнести кучу вариантов, которые не будут никак прописаны и их придется либо не учитывать, либо в спешном порядке !голосовалкой! вносить в методичку? Ну и зависимость одних и тех же косяков для разных игр тоже разная, и минусы за них в таком случае тоже должны быть разными.
Идеальный вариант - уход от оценок. Остается лишь самое сложное - придумать что делать с рейтингом команд-авторов.

[Fomka]

По методичке - идея интересная, но возможны кучи разнообразных проблем.

Во-первых, кроме методички нужен будет методист, который будет вносить туда новые пункты по мере из возникновения. Причём вносить придётся волевым решением, голосование тут не прокатит, так как на каждой игре будут возникать десятки новых ситуаций.

Во-вторых, придётся учитывать миллионы различных вариантов. Взять, казалось бы, максимально простой и понятный пункт - снятое задание. Но почему оно снято? Одно дело, когда орги не указали беспалевный залаз на сталкер, как на последней игре большого ДЛ. Другое дело, когда всё было указано чётко, но команда новичков своими криками и фонарями возбудила охрану. Третье дело, если сталкера вообще никакого не было, но совершенно случайно в ночь игры в здании решила потусить местная гопота. Имхо, это всё разные случаи, которые должны по-разному оцениваться. И таких случаев я могу привести много.

В третьих, что делать, если в игре косяков нет никаких, но игра не реально вставляет? Задания вроде как и курибельные, и корректные, но скучные шописец. Места вроде и КО3 всё как положено, но заебали, блядь, однотипные люки и водонапорки из игры в игру. Коды вроде прописаны чётко, но тупо, без души?... ммм? как быть?

В-четвёртых, это будет всё равно субъективизм со стороны супервайзера, выставляющего оценки. Вы сейчас пытаетесь создать фигурное катание. Там ведь всё то же самое - есть регламент, по которому чётко прописано, за какой косяк сколько баллов скидывать. Но Плющенко почему-то не выигрывает... И вспомните, сколько срача и обвинений в адрес судей каждый раз возникает.

В пятых, а как быть, если игра вдруг будет формата "квест"? Там вообще хрен поймёт, что куда высчитывать, ибо одно задание неотделимо от другого, в одно место надо возращаться несколько раз и тд...

В шестых, таких в-сколько-тых я могу придумать неограниченное количество. Слишком много вопросов.
Но если на них пока есть ответы и энтузиазм не пропал, попробуйте ДО голосования создать такую методичку и оценить прошедшие игры, исходя из неё. Будет интересно, и появится хоть какая-то конкретика. Либо вы сами почувствуете нереальность идеи.

[DashИК]

С одной стороный мне система Палутса и Ко нравится тем, что дает реальную возможность оценить игру максимально объективно, без эмоций, с другой стороны все то, про что написал Фомка имеет место быть, то есть чтобы данная система работала составлять очень подробную методичку, фактически на все случаи жизни (на это может уйти не один сезон).
Есть предложение - пересчитать все прошедшие игры по каждой из предложенных систем, тупоглянуть что получится =)

[Pukkaras]

Сравнение в первом посте, можите в онлайн документе делать изменения.

[Pukkaras]

Надеюсь Сомик будет не против если его процитирую.

Сообщение от Somix

По поводу оценивания игр: должен быть некий балл для организаторов, к которому плюсуются (или не плюсуются ) бонусы.
Например:
8 баллов за проведенную игру.
- 1 ИГВД
- 1 за касячность
+1 за перфачность
+1 за красивые, интересные задания
+1 за охрененность
В общем, при наличии всех бонусов чтоб получался высший балл.

[Pukkaras]

Если есть еще предложения, то предлагайте, скоро отрою голосовалку.

[Pukkaras]

Открыт опрос.

Не тяните, пожалуйста, с голосованием, за 7 дней думаю все успеют принять решение и проголосовать.

Участие в голосовании имеют право принимать лишь представители следующих команд:

1 Фиолетовые Ели_________Fomka
2 eX-Ta3 ________________ MiX
3 UniCode _______________ Cs13
4 Жаба и Апельсин _______ Pionika
5 Осторожные Брейкеры___ DrevoReZ
6 ПеПелаЦ ______________ DashИК
7 Странные звери_________ Kisanna
8 Парное мясо ___________ Potaki
9 Пингвины на обочине____ Private Detective
10 Выворотни
11 Just4Fun______________ slavnayaya
12 Четкий Фокус__________ DbSergey

[Pukkaras]

сегодня закрываем опрос. Пингвины, Фофаны, Жаба и Апельсин, Фиолетовые Ели, Осторожные Брейкеры пока не проголосовали.