Ну и при чем тут рейтинг?

Линейность означает, что прирост форы равномерен и пропорционален приросту в силе игры (рейтинге). Это имеет место быть (с достаточной точностью). Но есть также всем известный сдвиг на полкамня. Поэтому формула линейной форы (ф-0.5)х2хкоми - это есть выравнивающая компенсация в очках партии за фору в камнях, которая входит в формулу линейно. Так как на один разряд принято 100 пунктов рейтинга, то линейность форы также имеет место быть и по рейтингу, но со сдвигом на 50 пунктов. Что здесь непонятно? Это свойство линейности обеспечивает стабилизирующее влияние форовых турниров на рейтинг-систему, если они учитываются при пересчете рейтинга.

>пропорционален приросту в силе игры (рейтинге)
Не нужно приплетать сюда рейтинг. Рейтинг - это понятие тонкое, и
зависящее от многих параметров. Я говорил именно о силе игры. Подтверждается ли статистически то, что если разница в силе игры
между A и B - коми, между B и C - коми, C и D - коми, то между A и D должно быть равенство при двух камнях форы, как должно быть согласно Вашим выкладкам?

Вы исказили первоначальное утверждение. В последнем варианте ответ - да, конечно, будет статистически 50% в среднем по большому набору партий. Конкретно именно такую статистику не найти, так как нигде не играют с выравниванием 150 очков разницы рейтинга (полтора разряда) двумя камнями. "Выравнивают" 200 пунктов (2 разряда). Статистика ЕГФ дает в среднем по всей совокупности игроков около 59% побед белых (они же недодают в этом случае полкамня форы). Более того, статистика ЕГФ эту же величину процентов (около 59% в среднем) дает и при всех других гандикапах от 1 до 9, т.е. сдвиг полкамня везде дал один и тот же процент в среднем побед белых. Это и есть статитическое подтверждение всего того, о чем здесь говорилось про линейность форы с учетом сдвига на полкамня. Устравивает?
>
> Не нужно приплетать сюда рейтинг. Рейтинг - это понятие тонкое, и
зависящее от многих параметров

Не нужно приплетать сюда "словеса" про рейтинг, ничего не проясняющие, а только напускающие туман. Сила игры - неизвестный параметр, который не подлежит никаким прямым измерениям. Рейтинг - понятие статистическое, это случайная величина, "оценка" неизвестного параметра. Рейтинг является функцией выборки, т.е. набора результатов однотипных экспериментов (в нашем случае - результатов игр в виде 1 или 0, т.е. схемы Бернулли для результатов парных сравнений). Кроме схемы Бернулли и некоторого алгоритма вычисления функции выборки - оценки (рейтинга) - у нас ничего нет и не будет никогда. Поэтому вся статистика и любые сопоставления в процентах и т.д. делаются только с оценками (рейтингами), а не с реальной силой игры, которую никто никогда и нигде не видел, не щупал, не трогал. Но тем не менее теоремы теории вероятностей (центральные предельные теоремы в частности) и методы мат. статистики позволяют об этой самой силе игры делать кое-какие заключения, используя некоторые оценки параметров статистических распределений, наблюдаемых в схеме Бернулли.



Отправка отредактированного (07/09/04 11:35)

>Вы исказили первоначальное утверждение.
Интересно, какое утверждение и как.
>В последнем варианте ответ - да, конечно, будет статистически 50% в среднем по большому набору партий. Конкретно именно такую статистику не найти...
То есть Вы за это ручаетесь.
> Статистика ЕГФ дает <...> 59% побед белых
Это ни о чем не говорит, кроме того, что рейтинг не соответствует силе игры. Если предположение верно, и белые действительно недодают полкамня, то такой результат закономерен. Однако этот результат ничего
не говорит о верности гипотезы. Элементарная логика.
>Это и есть статитическое подтверждение всего того, о чем здесь говорилось про линейность форы с учетом сдвига на полкамня. Устравивает?
Нет (я конечно вполне допускаю что Вы правы, но
из вышеозвученного это мне не очевидно).
>Не нужно приплетать сюда "словеса" про рейтинг, ничего не проясняющие, а только напускающие туман.
С чем Вы не согласны? Что рейтинг - дело тонкое? Слова про центральную предельную теорему (мне знакома только одна) тоже похожи сами знаете на что.
>Сила игры - неизвестный параметр, который не подлежит никаким прямым измерениям.
Он подлежит довольно неплохим относительным измерениям для взятой пары игроков.

Мне не понятно одно - как можно говорить о привязке
к традиционной шкале кю-данов, если два камня - это полторы сотни очков (полтора разряда).

> если существующая фора нелинейна, то это должна показать статистика. Например: если А выигрывает у Б на форе 1 (без коми) в 50% случаев, а Б - у В в таких же условиях, то при игре А с В на двух камнях форы процент побед должен существенно отличаться от 50%.
...
> Подтверждается ли статистически то, что если разница в силе игры
между A и B - коми, между B и C - коми, C и D - коми, то между A и D должно быть равенство при двух камнях форы, как должно быть согласно Вашим выкладкам?

Вот Ваши два утверждения. По-моему, они совершенно несовпадают. И логика здесь ни причем.

Сформулируйте, пожалуйста, строго понятие: "Подтверждается статистически". Тогда возможно продолжение дискуссии.

Соглашусь, что второе утверждение сильнее первого (а из второго следует первое). Я усилил утверждение, чтобы исключить часть факторов, которые не относятся к данной гипотезе (гипотезе о том, что первая фора в три раза меньше второй, в частности).
Вы же привели статистику, говорящую, что результаты
_всех_ игр указывают на преимущество белых. Следовательно, соотношение в примере номер номер 1 не верно (как говорится, следите где шарик). Следовательно, соотношение номер 2 тоже будет неверно.

"Подтверждается статистически" - это значит, в моем понимании, что при проведении экспериментов по схеме "1" или по схеме "2" (то есть выборка соответствует посылке утверждения) при достаточно большом количестве игр и игроков будет наличествовать результат, указаный в соответствующих схемах.

> "Подтверждается статистически" - это значит, в моем понимании, что при проведении экспериментов по схеме "1" или по схеме "2" (то есть выборка соответствует посылке утверждения) при достаточно большом количестве игр и игроков будет наличествовать результат, указаный в соответствующих схемах.

Как по-вашему, результат 51 герб при 100 бросаниях подтверждает гипотезу о том, что монета идеальная? А 49? Ваши формулировки не формальны :) и логика здесь опять ни причем.

А что такое: "выборка соответствует посылке утверждения"?

А что такое: "при достаточно большом количестве игр и игроков"?

Я думаю, Вы прекрасно меня поняли.
>Как по-вашему, результат 51 герб при 100 бросаниях подтверждает гипотезу о том, что монета идеальная?
Никакой результат не подтверждает эту гипотезу. Можно говорить лишь о уровне значимости, доверительных интервалах и тому подобных вещах...
Вся эта теория хорошо работает асимптотически...
>А что такое: "при достаточно большом количестве игр и игроков"?
Тут очень просто - чем больше, тем лучше. Сверху мы ограничены количеством статистического материала, которое имеется в наличии.
>А что такое: "выборка соответствует посылке утверждения"?
Мое утверждение состоит из двух частей - посылки и следствия. Посылка (условие) - это первая часть, которая идет после слова "если". Следствие - вторая часть - которая идет после слова "то" (если уж Вы такой сторонник формализма). Соответствие выборки посылке утверждения - в первом случае означает, что
выборка состоит из игр, сыграных игроками, которые мы разобьем на группы А,B и C, сыграных на форе 1(без коми), таких, что игроки из группы B дает фору игрокам из A, а игроки из группы C дают фору игрокам из группы B. Причем, игроки должны быть выбраны и распределены по группам так, чтобы мат. ожидание выигрыша A у B и B у С было около 0.5 в целом по группе и не превышало, скажем, 0.6 для каждой пары, которая сыграла более 8 партий (ну, этот пораметр можно оставить свободным). Если игрок включен
в какую-либо группу, то в выборку должны быть
включены все его партии с игроками, включенными
в соответвующие группы (более высокие или низкие).
Вот это я и называю соответсвие выборки посылке утверждения. Конечно, наверняка в этом определении
имеются недостатки, противоречия и т.д. Это не существенно, так как я хотел узнать, производили ли Вы какие-либо подобные рассчеты, которые могли бы подтвердить Вашу гипотезу о нелинейности форы (под нелинейностью форы я подразумеваю то, что, в частности, первая фора в три раза больше второй, а не в два, как принято считать, а не какое-либо отношение форы к рейтингу).

Теперь по делу - если Вы не желаете отвечать на поставленные вопросы, то так и скажите - "Кто Вы такой, чтобы спрашивать меня, это же очевидно, возьмите и подсчитайте", или что-то в этом духе. Намеки я понимаю слабо. А излишний формализм не содейтвует пониманию, а нужен лишь при решении конкретной задачи.

> первая фора в три раза больше второй, а не в два, как принято считать

А кем принято? В том-то и дело, что есть строгое доказательство, что пас в начале партии эквивалентен удвоенному коми. Оно построено на чистой логике и не опирается на эксперимент. Читайте постинги Ильи Ветрова. Соответственно, многое, о чем речь, вытекает логически из предпложения, что разницы нет в оценке стоимости паса перед началом и перед вторым, третьим и еще несколькими первыми ходами в партии в среднем, по большому числу партий, при нормальных первых ходах, признаваемых"правильными" (можно даже считать для формальной строгости, что играют два идеальных игрока). Конечно, это - гипотеза. Ее можно проверять статистически, но никакой экспериментальный факт не может подтверждать ее, а может только "быть в согласии" при принятом уровне значимости. Сама формулировка статистической гипотезы для проверки - тоже отдельная тема. Но меня удовлетворяет и то, что уже есть: процент побед для всех гандикапов по большой статитике (более 12 000 партий) примерно одинаков и близок к 59%, что хорошо согласуется с предположением об одинаковости сдвига (а наше предположение - везде есть сдвиг в полкамня, и это эквивалентно коми). Если бы не было никакого сдвига, то закон больших чисел и пр. вывели бы статистику, во-первых, на симметричную в среднем для разных гандикапов ошибку, а не систематическую, как наблюдаем мы, и во-вторых, полученные проценты имели бы примерно "нормальное" распределение с этим самым нулевым средним. Т.е. ошибка первого хода (неравенство черных и белых) примерно такая же, как и ошибка назначения форы 2,3,...,9 при необходимом правильном соответствии со сдвигом в полкамня.

Если все это признается как правдоподобная гипотеза (и мы ее примем в качестве аксиомы, не возражаете?),то отсюда будет следовать, что соотношение преимуществ, даваемых форой 2 и 1 - ровно в три раза. А у Вас, кстати, написано прямо противоположное утверждение, что фора 1 больше в три раза, чем фора 2 (думаю, это "описка").



Отправка отредактированного (05/09/04 11:25)

По поводу последнего замечания - это, конечно, описка.

Теперь попробуйте понять то, что я хочу сказать (и уже говорил).
То, что белые выигрывают чаще - это показатель исключительно того, что фора - нестправедлива. В этом я не имею ни малейшего сомнения. Фора выставляется на основании рейтинга, а результат игры зависит от силы игрока (и, конечно, форы). Следовательно, единственный вывод который я могу сделать - что рейтинг не соответствует силе игры для подавляющего количества игроков. Этот сдвиг - вообще говоря неустраним, поэтому и предлагаю для проверки гипотезы отказаться от понятия "рейтинга" и сравнивать группы игроков напрямую.
>Т.е. ошибка первого хода (неравенство черных и белых) примерно такая же, как и ошибка назначения форы 2,3,...,9 при необходимом правильном соответствии в 1.5,2.5,...,8.5.
>Если все это признается как правдоподобная гипотеза (и мы ее примем в качестве аксиомы, не возражаете?)
Именно против этого я и возражаю.
Не имеется прямых доказательств, а косвенные явно не достаточны, так как не установлена причинно-следственная связь. Возможное (другое)
объяснение, например - шкала ЕРС деформирова. Я думаю, что существует такая деформация, которая будет давать указанные результаты.

> шкала ЕРС деформирова

В статистике есть понятие гистограмм. Как группируются результаты? Конечно, никто не ищет партии, в которых разница в силе игры ровно 1 разряд (2,3, ... разряда). Таких партий просто нет. Какова вероятность попасть в точку в интервале (0,1)? Но есть предельные теоремы, которые позволяют группировать результаты с определенной шириной групп и выдавать групповые частоты за статистику, относящуюся к центрам интервалов. Так и делают при статистической обработке в ЕГФ, как и в генетике, физике, химии и пр. экспериментальных науках. Т.е. партия попадает в разряд "игроки имеют разницу в один дан", если разница рейтингов партнеров лежит в пределах от 0.5 до 1.5 разряда (или просто - по заявленным данам, что в принципе одно и тоже для большой статистики).

Теперь о деформации по-существу. Деформации в смысле ошибки "только в пользу белых" не может быть потому, что вы и каждый другой игрок (за исключением немногочисленных групп на самом верху и внизу рейтинг-листа) играет примерно поровну партий, в которых дает фору и в которых получает, так что опять же на большой статистике эти "деформационные ошибки", о которых Вы говорите, имеют нулевое среднее, т..е нет никакой деформации в этом смысле. Может быть другая деформация (и она есть) - между разрядами в разных частях шкалы от 20 кю до 7 дана разница между соседними данами (кю) неодинакова в смысле соответсвия условию:" увеличение форы на один разряд точно соответствует увеличению разницы в рейтинге (ранге, данах или кю) тоже - на один разряд". Такая статистика ведется и она показывает незначительные деформации в ЕРС. И давайте перестанем говорить про рейтинг, противопоставляя его мифической силе игры, уровню мастерства. Никаких нет других способов оперировать с числами, кроме как используя имеющиеся оценки - рейтинги (или даны, кю - что тоже вид рейтинга).

>>Если все это признается как правдоподобная гипотеза (и мы ее примем в качестве аксиомы, не возражаете?)
> Именно против этого я и возражаю.

Уточните все ж, против чего Вы возражаете: что есть сдвиг в принятой по умолчанию форе, примерно равный полкамня? Или что этот сдвиг равен полкамня? Или что несправедливость форы, которую Вы признаете, обусловлена именно этим сдвигом?

И что значит у Вас фраза: "Этот сдвиг - вообще говоря неустраним, поэтому и предлагаю для проверки гипотезы отказаться от понятия "рейтинга" и сравнивать группы игроков напрямую"? Как Вы предполагаете "сравнивать группы игроков напрямую"? Вы знаете численные значения их уровней игры? Или Вы только можете проверять (что все и делают), как часто игрок А выигрывает у игрока Б? Но именно этим - сведением к ранжировкам по единой шкале на основе прямых сравнений во встречах друг с другом (с форой или без) - занимаются все, кто создает и обосновывает рейтинг-системы, пишутся докторские диссертации на темы типа: "Оценка параметров в больших экспериментах парных сравнений" (М.Гликман, 1993).

>Уточните все ж, против чего Вы возражаете: что есть сдвиг в принятой по умолчанию форе, примерно равный полкамня? Или что этот сдвиг равен полкамня? Или что несправедливость форы, которую Вы признаете, обусловлена именно этим сдвигом?
В эту игру можно играть вдвоем. Что такое "сдвиг в принятой по умолчанию форе". Сдвиг относительно чего? Принятой по умолчанию кем?

Для проверки гипотезы совершенно не обязательно знать уровни игры игроков.
>Как Вы предполагаете "сравнивать группы игроков напрямую"?
Как в древности.

Цитата из главы "энциклопедии рейтинга":

Так как игра го обладает в высокой степени однородностью, то можно ожидать линейный характер изменения преимущества, получаемого за счет форы, причем как в очках, так и в камнях. Действительно, многовековой опыт применения принципа гандикапа в Японии подтверждает практически линейный характер нарастания форового преимущества при выставлении новых камней форы, однако сама шкала смещена на полкамня. Давайте разберемся с этим.

В начале партии на равных доска пуста и все пункты доступны. Имеется по крайней мере 4 лучших хода в силу симметрии. Практика подтверждает, что лучших ходов в начальной позиции существенно больше. Специфика игры состоит в том, что чем более пуста доска, тем выше максимальная ценность хода. Постепенно, так как на доску выставляются все новые и новые камни, доска заполняется, а ценность ходов падает, пока не станет равной нулю – тогда оба игрока пасуют и игра заканчивается. Значит, в начале партии в течение первых одного-двух десятков ходов ценность добавления новых камней в случае выбора наилучших ходов остается наивысшей и примерно равна удвоенной ценности права выступки. Действительно, если начинающий партию имеет преимущество в N очков, которые он должен был бы отдать для выравнивания шансов сторон (коми), то сделав пас (пропуск хода) он окажется в положении, в каком был его соперник до этого, и следовательно должен для выравнивания шансов получить то же самое коми (отставание на N очков). Таким образом, разница в результате партии в этих двух ситуациях будет 2N очков и значит пас эквивалентен удвоенному коми.

Если преимущество, определяемое гандикапом, нарастает линейно, то каждый новый камень тоже добавляет удвоенное коми, так как такой камень можно рассматривать как очередной пас соперника, дающего фору. Следовательно, классификация, построенная на условной единице измерения силы игры под названием «камень форы», имеет право на существование, но саму единицу измерения нужно использовать аккуратно, с учетом указанного сдвига на полкамня. В действительности при прямом применении принципа гандикапа без учета сдвига на полкамня (число камней форы равно разнице в разрядах) стандартная ошибка имеет нулевое среднее значение для большинства игроков, кроме самой верхней и самой нижней частей «табели о рангах», так как примерно в равном числе случаев игрок дает фору меньше на полкамня, чем положено, и получает фору также меньше на полкамня. Таким образом, традиционная система классификации игроков по мастерским уровням (данам) и разрядам (кю) является классической рейтинг-системой, если выбрать каким-то образом точку привязки и устанавливать разницу в разрядах на основании статистики форовых партий, подбирая каждому разряд для получения 50%-х результатов при игре на правильной форе (т.е. строго соответствующей разнице в разрядах).

> Таким образом, традиционная система классификации игроков по мастерским уровням (данам) и разрядам (кю) является классической рейтинг-системой, если выбрать каким-то образом точку привязки и устанавливать разницу в разрядах на основании статистики форовых партий, подбирая каждому разряд для получения 50%-х результатов при игре на правильной форе (т.е. строго соответствующей разнице в разрядах).

Таким, образом, все замечательно работает без всяких сдвигов, так это нужно понимать?
Похоже, разговор ни к чему не приведет, поэтому предлагаю его свернуть.
P.S. Можно как-нибудь получить полные исходные данные по результатам партий ЕФГ?

Может быть другая деформация (и она есть) - между разрядами в разных частях шкалы от 20 кю до 7 дана разница между соседними данами (кю) неодинакова в смысле соответсвия условию:" увеличение форы на один разряд точно соответствует увеличению разницы в рейтинге (ранге, данах или кю) тоже - на один разряд".

Сергей Владимирович, а должна ли шкала кю-данов быть линейной?
И ещё - о сдвиге на полкамня. Было доказано, что сдвиг есть. Но я так и не понял, из-за чего спор? Единственное, что мне нужно от рейтинг-системы - это то, чтобы по рейтингу можно было бы определить фору для игры двоих, которые раньше между собой не встречались. При этом совсем необязательно с равновероятным для каждого выйгрышем - вероятность для белых в 59% мне вполне нравится :)
А уж если чёрные выиграли, да ещё три раза подряд - значит они действительно достойны повышения на разряд.
Извините, несколько сумбурно получилось...



Эксперимент продолжается...

Читайте сайт ЕГФ, описание рейтинг-системы ЕГФ (можно прочитать в ГБ), на странице по рейтингу сайта СибГо (см. профиль) тоже таблицы статистики ЕГФ приведены. Если Вы все еще не поняли, что там за сдвиг, то... :(

В РС ЕГФ сдвиг форы на полразряда учитывается корректно (фора 1 - полразряда, фора 2 - 1.5 и т.д.).

> Таким, образом, все замечательно работает без всяких сдвигов, так это нужно понимать?

Все не замечательно, но работает за счет симметричности ошибки в полкамня, но на краях возникают деформации, если фора применяется без учета сдвига. Поэтому я согласен с Ильей Ветровым, который настаивает на максимально правильной форе, если пользоваться не оченть хорошими рейтинг-системами (например, примитивной шкалой кю-данов без специального пересчета рейтинга как в РС Эло или аналогичных, с учетом сдвига в полкамня). В нормальной РС при учете форовых партий с корректным учетом сдвига все это не имеет особого значения - лишь бы игрались партии на форе и как можно больше, с самой разнообразной форой. Так как мы при этом вычисляем "компенсацию" за фору при учете в рейтинге (т.е. при расчетах по алгоритму, заложенному в РС) линейно и с учетом сдвига в полразряда, то форовые партии при их достаточном количестве стабилизируют РС и приводят постоянно систему к равновесному положению, когда 1 разряд = 100 очков (примерно, в среднем, статистически).

> Но я так и не понял, из-за чего спор? Единственное, что мне нужно от рейтинг-системы - это то, чтобы по рейтингу можно было бы определить фору для игры двоих, которые раньше между собой не встречались.

Алексей, я тоже имел примерно аналогичный подход, когда начинал играть и развивать го у себя локально. Но когда я столкнулся в 1978 году с проблемой введения единого рейтинга и даже просто - приведения локальных рейтингов в виде кю и данов к единой шкале, то стал глубже копать и интересоваться такими вещами как точность, достоверность РС и пр. Оказывается, все это важно не только для более точного прогнозирования и т.д., но и для межрегиональных контактов - прежде всего. Вы знаете, что до сих пор в Европе есть разброс примерно в 2 разряда по данам и кю, даваемым национальными федерациями? Как в таких условиях сводить без единого и точного рейтинг-коэффициента правильно в группы ММ? Ну и т.д. Если мы не стремимся повысить точность расчетов в РС, то система не будет сама за нас "уточнять" рейтинг в данах и кю, тем более что он только дает от силы +-1 разряд с достоверностью около 50%. Кого устроит такая точность? Никого не устраивает, кроме локальных внутриклубных контактов, где относительная сила может быть определена несколько более точно за счет частой игры с форой.

А точность РС зависит от многих факторов и не в последнюю очередь - от того, как часто играются в РС рейтинг-партии на форе (сейчас в России - практически 0).

>Читайте сайт ЕГФ, описание рейтинг-системы ЕГФ (можно прочитать в ГБ), на странице по рейтингу сайта СибГо (см. профиль) тоже таблицы статистики ЕГФ приведены. Если Вы все еще не поняли, что там за сдвиг, то... :(
Читал, читал... Что за сдвиг - понял. Не понял, существует ли он реально.
Так что, поделетесь сырыми данными по результатам игр ЕГФ?