Система оценивания игр

[Pukkaras]

На встрече было предложено несколько альтернативных вариантов подсчета баллов за организованную игру, соответственно к концу первого сезона предлагается выбрать один из следующих вариантов:

- Система Протестов с методичкой и супервайзером. Была предложена и ПАлтусом и Димой Cancellarius.
- Система Предложенная Фомкой , допускающая получение баллов в пределах от -10 до 10.
- Изменение коэффициентов.
- Остается нынешняя .

Изменения пунктов правил связанных с данным вопросом вступят в силу со следующего сезона, голосование будет проведено к концу текущего. В этой теме ведем обсуждение данного вопроса.

. . Название Описание Преимущества Сравнение и примеры Автор . Фомкино предложение Математически оно выражается формулой: MAX(<среднее взвешенное от оценок по шкалам от 0 до 5> *4 - 10, 0) Можно также модифицировать формулу, вычитая не 10, а 9, чтобы максимальный возможный балл за игру по-прежнему равнялся 11ти. Предложение связано с тем, что сейчас оценки за игры завышены. Самая низкая оценка, полученная командой, была 8 баллов, что равносильно второму месту. И это за игру, где было снято 2 задания из 7!! Если объяснять словами, сравнивая с текущей системой, то можно сказать примерно следующее: команда будет получать положительные очки за организацию только в том случае, если её оценка по текущей шкале выше 5.5 из 11. Во всех остальных случаях она получит за организацию ноль. Кроме того, будет заметнее разница между высокими и очень высокими оценками за игру. Фомка . . Система протестов. Механизм, из максимальной оценки за игру вычитывает баллы за технические косяки и объективную лажу, перечень которой был бы закреплен в правилах. При этом команды бы просто подавали протесты списком.Далее один человек или группа людей(Алексей их супервайзерами назвал) просматривает протесты, отбрасывая одинаковые пункты и в итоге составляется общий протест по которому и вычисляется балл за игру. Эта система убрала бы левые субъективные оценки за "не вкатило", "игра отличная, но не зацепила", "мы первые, потому игра зачот", "мы последние - ИГВД". При этом система предполагала бы введения прецедентов, т.е. если в истории игр были решения за снижения общего балла за определенный косяк, то использовался б прецедент. Пример протеста: -1 балл за снятый уровень -0.5 за неточность в определении границ зоны(к примеру место одно не попало в зону) -0.2 не раскуриваемость пятого задания до первой подсказки(доказано статистикой) -0.3 ошибка в написании кода(либо сильно затерт) и.т.д Палтус Cancellarius. . . Изменение коэффициента Общая оценка от команды считается как среднее взвешенное от оценок команды по всем шкалам, умноженное на 10/5 и округлённое до тысячных. Веса шкал: "Организация" - 2, "Задания" - 1.5, "Места" - 1.5. Вес каждой из дополнительных шкал равен 1. Таким образом максимальная оценка за игру может быть 10. В начале игр, говорили, что мол все равно никто не получит 11, а необходимо дать оргам шанс получить 10 баллов хотя бы как за первое место. Но вот вам пример, Пепелац получил 11 баллов почти единогласно. Зато менее удачные игры , будут справедливо получать меньше баллов, соотвествуя занятию более низкого места по игре Pukkaras .

http://spreadsheets.google.com/ccc?k...yLVBmb0E&hl=en - можите добавлять и изменять существующие системы

[Fomka]

Ок, предложенную мной систему объяснить очень просто.
Математически она выражается формулой:
MAX(<среднее взвешенное от оценок по шкалам от 0 до 5> *4 - 10, 0)
Если объяснять словами, сравнивая с текущей системой, то можно сказать примерно следующее: команда будет получать положительные очки за организацию только в том случае, если её оценка по текущей шкале выше 5.5 из 11. Во всех остальных случаях она получит за организацию ноль. Кроме того, будет заметнее разница между высокими и очень высокими оценками за игру.
Можно также модифицировать формулу, вычитая не 10, а 9, чтобы максимальный возможный балл за игру по-прежнему равнялся 11ти.

Предложение связано с тем, что сейчас оценки за игры завышены. Самая низкая оценка, полученная командой, была 8 баллов, что равносильно второму месту. И это за игру, где было снято 2 задания из 7!!!
Если надо, могу привести пример перерасчёта оценок прошедших игр по новой шкале, как во варианте с max10, так и во варианте с max11.

[Paltus1317]

Под любую формулу результат будет подгоняться. Максимальные баллы за участие как ставили, так и будут ставить. Мое предложение все-таки попробовать раскрыть механизм проставления оценок, шкалы и абсолютные значения при этом не имеют значения. В правилах только написан максимальный балл, но при этом ни единого пояснения как и за что выставлять промежуточные баллы. Эта система не избавит от субъективности и вкусовщины, но она поможет желающим объективно и справедливо оценить игру.

[Fomka]

Сообщение от Paltus1317

Под любую формулу результат будет подгоняться. Максимальные баллы за участие как ставили, так и будут ставить. Мое предложение все-таки попробовать раскрыть механизм проставления оценок, шкалы и абсолютные значения при этом не имеют значения. В правилах только написан максимальный балл, но при этом ни единого пояснения как и за что выставлять промежуточные баллы. Эта система не избавит от субъективности и вкусовщины, но она поможет желающим объективно и справедливо оценить игру.

Так распиши подробный механизм, иначе сложно оценить, насколько это реально и работоспособно.

[DrK]

Заранее прошу прощения, ибо не был на встрече, и, вероятно, вопрос обсуждался.
Осуществлялось ли целеполагание системы оценивания игр? Грубо говоря, есть ли внятный и чёткий ответ на вопрос: зачем выставлять оценки организаторам игр? Этот вопрос не такой глупый и банальный, как кажется на первый взгляд.

[Fomka]

Сообщение от DrK

Заранее прошу прощения, ибо не был на встрече, и, вероятно, вопрос обсуждался.
Осуществлялось ли целеполагание системы оценивания игр? Грубо говоря, есть ли внятный и чёткий ответ на вопрос: зачем выставлять оценки организаторам игр? Этот вопрос не такой глупый и банальный, как кажется на первый взгляд.

Нет, это не обсуждалось, по крайней мере на западной половине стола =) Ты предлагаешь всем организаторам автоматом ставить максималку?

[Paltus1317]

Сообщение от DrK

Осуществлялось ли целеполагание системы оценивания игр? Грубо говоря, есть ли внятный и чёткий ответ на вопрос: зачем выставлять оценки организаторам игр? Этот вопрос не такой глупый и банальный, как кажется на первый взгляд.

Я согласен с идеей, что за игры оценки ставить не надо. Другое дело, что игры делают сами участники и при этом принимают участие в турнирной гонке. Возможности обязать делать в сезоне игры все команды у нас нет, в связи с этим не очень понятен механизм заполнения пустой ячейки в турнирной таблице организатору игры.

Сообщение от Fomka

Ты предлагаешь всем организаторам автоматом ставить максималку?

На нашей половине я в этом поддержал cancellarius, но не обсуждали. Я знаю, что ты считаешь это несправедливым

У нас был предложен механизм, который бы из максимальной оценки за игру вычитал баллы за технические косяки и объективную лажу, перечень которой был бы закреплен в правилах. При этом команды бы просто подавали протесты списком. Эта система убрала бы левые субъективные оценки за "не вкатило", "игра отличная, но не зацепила", "мы первые, потому игра зачот", "мы последние - ИГВД". При этом система предполагала бы введения прецедентов, т.е. если в истории игр были решения за снижения общего балла за определенный косяк, то использовался б прецедент.

[Fomka]

Сообщение от Paltus1317

Я знаю, что ты считаешь это несправедливым

Это такая же система, как и остальные... Имеет смысл услышать подробные обоснования, обсудить и проголосовать =)

[DrK]

Фомка, я предлагаю, прежде чем что-то изобретать (и уж тем более - копипастить), сначала подумать о том, зачем это делается.
С комментарием Палтуса согласен. Именно в этой области (_на_самом_деле_) случается системный затык, который все пытаются решить.

Про целеполагание: дурацкий пример из другой области. КО задания исторически оценивается по шкале от 1 до 3. Вопрос: почему именно так? Вопрос номер два: почему с течением времени к этой системе пририсовались "плюсики"?