Статистика Конкурса Программистов ГО.

Date: 31 December, 2004.
Preliminary results of the competition:

Place Name____________ Author________ Games Correctly Faultily Percent CalcTime Remark
_____ DAN_1.01v_______ Melnikov A.___ 3078_ 3063_____ 15______ 99.51 % 1455 Sec N/A
_____ DAN_1.01p_______ Melnikov A.___ 3078_ 3045_____ 33______ 98.93 % __48 Sec N/A
_____ GnuGO_3.7.1_____ Authors Group_ 3078_ 2979_____ 99______ 96.78 % 3045 Sec N/A
__1__ KUKA____________ Kuka__________ 3078_ 2801_____ 277_____ 91.00 % _656 Sec Leader
__2__ SEOG_01a________ Guisov M._____ 3078_ 2782_____ 296_____ 90.38 % _741 Sec
__3__ PocketGoPartner_ Lyakhovsky V._ 3078_ 2669_____ 409_____ 86.71 % ___6 Sec
_____ Neuron_7.95_____ Melnikov A.___ 3078_ 1613_____ 1465____ 52.40 % __30 Sec N/A


DAN 1.01p - Version estimates the position only.
DAN 1.01v - Version searches the variants of the game finishing.



Отправка отредактированного (02/01/05 21:27)

Date: 11 November, 2004
To calculate a statistics five algorithms are used:
В статистике участвуют пять алгоритмов:

DAN
GNUGO
KUKA
SEOG
POCKET




Отправка отредактированного (02/01/05 21:31)

Date: 11 November, 2004
Calculating Time:
Время вычисления результата 3003 партий:


DAN : 27.0 Sec
GNUGO : 2920.0 Sec ( time for stones disposal are includes )
KUKA : 641.0 Sec
SEOG : 725.0 Sec
POCKET : 10.5 Sec




Отправка отредактированного (02/01/05 21:31)

Date: 11 November, 2004
Games : 3003
Algorithms : 5

Количество партий не решенных ни одним алгоритмом = 26
Количество партий решенных только одним из пяти алгоритмов = 44
Количество партий решенных только двумя из пяти алгоритмов = 75
Количество партий решенных только тремя из пяти алгоритмов = 157
Количество партий решенных только четырьмя из пяти алгоритмов = 526
Количество партий решенных всеми пятью алгоритмами = 2175


Number of algorithms solved the game correctly= 0, Number of games= 26
Number of algorithms solved the game correctly= 1, Number of games= 44
Number of algorithms solved the game correctly= 2, Number of games= 75
Number of algorithms solved the game correctly= 3, Number of games= 157
Number of algorithms solved the game correctly= 4, Number of games= 526
Number of algorithms solved the game correctly= 5, Number of games= 2175




Отправка отредактированного (02/01/05 21:32)

Date: 11 November, 2004
The treatment of the results:
26 problems could not be solved by any algorithm.
It means that all algorithms are quite different
and have different weakness.

Трактовка результатов:
Так как количество партий не решенных ни одним алгоритмом равно
всего 26,
это означает, что алгоритмы существенно разные и ошибаются
в разных партиях.
То есть слабые места у алгоритмов различны.

Если сделать такой суммарный алгоритм, когда позиция оценивается
каждым алгоритмом, а за правильный результат брать
значение которое совпало хотя бы у двух алгоритмов,

то количество ошибочных партий будет в районе 75, (ну возможно чуть больше),

и это намного лучше чем 189, показанное алгоритмом DAN.



Отправка отредактированного (02/01/05 21:32)

Date: 11 November, 2004
Количество партий, которые решил только DAN = 4
Количество партий, которые решил только GNUGO = 25
Количество партий, которые решил только KUKA = 7
Количество партий, которые решил только SEOG = 5
Количество партий, которые решил только POCKET = 3

Количество партий, которые не решил только DAN = 31
Количество партий, которые не решил только GNUGO = 102
Количество партий, которые не решил только KUKA = 86
Количество партий, которые не решил только SEOG = 146
Количество партий, которые не решил только POCKET = 161


The number of games, that DAN solved only = 4
The number of games, that GNUGO solved only = 25
The number of games, that KUKA solved only = 7
The number of games, that SEOG solved only = 5
The number of games, that POCKET solved only = 3

The number of games, that only DAN not solved = 31
The number of games, that only GNUGO not solved = 102
The number of games, that only KUKA not solved = 86
The number of games, that only SEOG not solved = 146
The number of games, that only POCKET not solved = 161




Отправка отредактированного (02/01/05 21:32)

Date: 11 November, 2004
The Correlation:
Теперь корреляция:

The number of games were solved correctly by two algorithm only:
Количество партий, которые решили правильно только два алгоритма:

DAN &
DAN ___ GNUGO =16 KUKA = 1 SEOG =10 POCKET = 0

GNUGO &
DAN =16 GNUGO ___ KUKA =10 SEOG =27 POCKET = 3

KUKA &
DAN = 1 GNUGO =10 KUKA ___ SEOG = 8 POCKET = 0

SEOG &
DAN =10 GNUGO =27 KUKA = 8 SEOG ___ POCKET = 0

POCKET &
DAN = 0 GNUGO = 3 KUKA = 0 SEOG = 0 POCKET ___

Pairs of algorithms placed by decrease of the correlation:
Пары по убыванию корреляции:


1. SEOG & GNUGO : 27 games.
2. GNUGO & DAN : 16 games.
3. SEOG & DAN : 10 games.
4. KUKA & GNUGO : 10 games.
5. SEOG & KUKA : 8 games.
6. POCKET & GNUGO: 3 games.
7. KUKA & DAN: 1 game.


All: 75 games.

Участие в корреляционных партиях:


1. GNUGO : 56 games
2. SEOG : 45 games
3. DAN : 27 games
4. KUKA : 19 games
5. POCKET : 3 games




Отправка отредактированного (02/01/05 21:32)