Статистический анализ турнира на звание Го-Драгуна

Еще турнир не закончен, но кое-какие выводы уже можно сделать.

Анализ отклонений результатов от ожидаемых показал, что у 6-ти участников начальный рейтинг содержал ошибку, повлиявшую на ошибку в конечном результате таким образом, что она вышла за пределы статистически допустимой (3*сигма, ок. 47 очков). Естественно, это для 4-х из них "аномалка" в смысле рейтинга, которая начинается с выхода за пределы 1*сигма в сторону увеличения, максимум аномалки - с 2*сигма (см. описание нового проекта РС по ссылке внизу).

В соответствии с правилами научной обработки эксп. материалов, при статанализе эти шесть результатов должны быть отброшены как содержащие ошибку, нарушающую условия применимости центральных предельных теорем теории вероятностей.

Оставшиеся результаты все равно еще содержат существенную ошибку в начальном рейтинге, о чем свидетельствует выход большинства результатов за пределы 1*сигма. Здесь сигма - стандартное отклонение в схеме Бернулли, пересчитанное в зачетные очки по схеме "Серп". Для турнира это около 16 очков, 2*сигма - около 31 очка. При отсутствии ошибки в рейтинге и "точной" форе 80% результатов должно было бы лежать в пределах 1*сигма от ожидаемых результатов (реально пока - не более 15%). Можно вычислить примерную дисперсию этой ошибки, применив формулу для суммы дисперсий: Ssum**2 = S1**2 + S2**2, так как дисперсия схемы Бернулли, дающая одно из слагаемых, известна (S1 = 16), а дисперсию суммарной ошибки можно оценить из статистики.

Продолжение следует.



Отправка отредактированного (27/07/04 08:54)

Сергей Павлов писал(а):

> В соответствии с правилами научной обработки эксп. материалов,
> при статанализе эти шесть результатов должны быть отброшены как
> содержащие ошибку, нарушающую условия применимости центральных
> предельных теорем теории вероятностей.
Для этого выборка должна быть достаточно большой. На малых выборках так просто результатами измерений не бросаются, да и вообще предельные теоремы к малым выборкам... как-то не очень... (хотя многое я уже забыл :)



С уважением, Павел Стрибук. ГоБиблиотека ждет Вас...

Мне кажется , в таких случаях нужны 2 результата анализа - по всей выборке и по "причесанной" .

Новый бухгалтер: - Я посчитала баланс .
Шеф: - Хорошо проверили ?
НБ: Да , трижды . Вот все три баланса .



Наш рот всегда открыт для диалога (c) Владимир ВишневскийOkruzhor (экс-Игозавр)

Предельные теоремы потому и предельные, что их утверждения касаются предельных значений при N -> к бесконечности...

Понятие малой выборки весьма условно, субъективно и относительно. Если будем бросать монету 10 раз и выписывать результаты - да, за один эксперимент вряд ли что можно сказать, даже если выпадет 5:5, или 10:0. Но вероятности этих событий, при определенных предположениях, можно оценить. И дисперсия в схеме Бернулли - это же точное теоретическое значение, оно зависит явным образом от N. Поэтому в таких оценках (опять имеется в виду схема Бернули) не играет роль размер выборки. Тем более что мы строим модель для бесконечного ряда серий экспериментов (серия - один турнир). Все корректно - в плане оценок достоверности рейтинга при пересчете по ограниченной выборке. Другое дело, что я-то излагаю упрощенно и не нагружаю деталями, объясняя только идейное содержание.

Напрмер, закон больших чисел утверждает, что среднее статистическое частоты появления события при бесконечном повторении опыта сходится по вероятности (это такой математический термин) к вероятности появления этого события в отдельном опыте (это значение есть математическое ожидание частоты появления события).

На этом замечательном факте построена вся теория измерений. Можно, имея прибор не очень высокого класса точности, повысить точность конечной оценки измеряемой величины, делая серию измерений и беря среднее арифметическое результатов, предварительно отбрасывая статистически недостоверные (вхыодящие за пределы трех "сигма"), что означает как правило проявление случайной существенной ошибки, оказывающей преобладающее влияние по сравнению с другими (порыв сильного ветра при прыжках в длину например).

Жалко, что я все забыл...

А как учитывается то, что дисперсия у Вас не теоретическая и также содержит ошибку? Вы ведь ее по этой же выборке считали?



С уважением, Павел Стрибук. ГоБиблиотека ждет Вас...

Естественно, теория есть теория, а практика - это практика. Мы не знаем истинного значения вероятностей исходов (результатов отдельных партий), а оцениваем их статистически - т.е. предполагаем, что разница рейтингов (конечно же, содержит ошибку) дает нам достаточно информации, чтобы судить о вероятностях исходов, с некоторой погрешностью, реально абсолютно достоверно никогда не устанавливаемой. Но другого пути нет. В чем задача прикладной матстатистики? Разрабатывать методы, которые бы сводили к минимуму возможные издержки. Но абсолютно точных оценок в природе не существует. Даже электрон где находится в каждый конкретный момент времени установить невозможно в принципе из-за известного соотношения неопределенностей. И так - во многих областях. Есть двойственность - точность (интервал) и достоверность (вероятность нахождения в этом интервале). Обе величины одновременно оптимизировать невозможно.

Так вот, дисперсию вычисляем из статистических данных, это не есть теоретическая дисперсия. Более того, из этой дисперсии можно вытащить реальную ошибку в рейтинге, оценить ее. Как? Предположим, что конечный результат (количество набранных очков) есть сумма двух случайных величин - одна из них определяется классической теоретической схемой Бернулли при известных вероятностях исходов, а другая - ошибкой в начальном рейтинге. Тогда из теории вероятностей, применяя к этим очевидно независимым случайным величинам известные теоремы можно найти дисперсию ошибки в рейтинге. В качестве иллюстрации такого подхода скоро, после завершения Драгуниады, обсчитаю ее по описанной схеме и укажу оценки погрешности в начальном рейтинге.

Единственное "но" в этой уж очень красивой картинке - схема Бернулли тоже ведь работает только как приближенная модель, так как в разных партиях - разные вероятности. Но дисперсия схемы Бернулли (произведение числа партий на вероятности обоих исходов в отдельной партии) ведет себя достаточно "стабильно": мало меняется при довольно сильных отклонениях вероятности от 0.5 (проверьте на досуге, например: 0.6*0.4=0.24, корень из 0.24=0.49, что для нас "почти" не отличается от 0.5).



Отправка отредактированного (27/07/04 09:33)

В турнире осталось всего 5 партий, со дня на день они могут закончиться (кроме, пожалуй, партии Алексея Хованца и Сергея Мамрая - у них серьезная всепоглащающая борьба с неясным до сих пор исходом). Я обсчитал все индивидуальные результаты с точки зрения возможной разницы ожидаемых и набранных очков. Раздел "ТурнирНаДГС/1/Статистика": [rusgolib.iponweb.net]

Просьба ко всем участникам: проверьте, не вкралась ли какая ошибка. Пояснения к расчетам даются внизу. После завершения турнира будут подведены и полные статистические итоги.