Критерий знаков

После правок на сайте сравнили два замера. Видимость выросла, но случайно или нет? Критерий знаков отвечает на это проще всех способов. Для каждой пары берут только направление («выросло», «упало»), величину изменения отбрасывают и смотрят, насколько перекос в одну сторону отличается от подбрасывания монеты. О смысле такой проверки читайте в статье про значимость.

Механика

Для каждой пары «промпт × нейросеть» сравниваем видимость в первом и втором замере. Пара получает знак: «+» (стало лучше), «−» (стало хуже) или «=» (без изменений). Пары «=» из расчёта выбрасываем, остаётся n пар с направлением.

Если ничего не менялось, каждая пара с равной вероятностью упадёт или вырастет. Число «плюсов» тогда подчиняется биномиальному распределению с p = 0,5. Остаётся посчитать, насколько вероятен такой перекос или ещё сильнее, причём в обе стороны (двусторонний критерий). Для k плюсов из n это 2 × Σ C(n, i) / 2ⁿ по i от 0 до меньшего из k и n−k.

Живой пример

Условный пример. Из 40 пар 15 не изменились, остались 25. Выросло 18, упало 7. Меньшее число 7. Сумма C(25, i) для i от 0 до 7 равна 1 + 25 + 300 + 2300 + 12650 + 53130 + 177100 + 480700 = 726206. Делим на 2²⁵ = 33554432, получается 0,02164, удваиваем: p ≈ 0,043. Это ниже 0,05, различие значимо.

Если бы выросло 17, а упало 8, p ≈ 0,108 и вывод был бы «в пределах шума». Одна пара меняет вердикт, поэтому на границе нужно осторожничать и добавлять данные.

Пороги для разного числа пар

Таблица показывает, сколько пар должно вырасти (двусторонний критерий, p < 0,05), чтобы различие стало значимым. Остальные пары из n упали.

Пар с направлением (n)	Минимум выросло	Соотношение	p-значение
6	6	6 : 0	0,031
8	8	8 : 0	0,008
10	9	9 : 1	0,021
12	10	10 : 2	0,039
16	13	13 : 3	0,021
20	15	15 : 5	0,041
25	18	18 : 7	0,043
30	21	21 : 9	0,043
40	27	27 : 13	0,039
50	33	33 : 17	0,033

При малом числе пар нужен почти полный перекос, с ростом n хватает примерно двух третей пар в одну сторону. Для n = 7 порога 0,05 можно достичь только счётом 7 : 0 (p = 0,016).

Где его ломают

В n включают пары без изменения, а они о направлении ничего не говорят. Берут односторонний критерий уже после взгляда на данные («мы ждали роста»), и p искусственно уменьшается вдвое. Считают пары независимыми, хотя десять почти одинаковых формулировок одного вопроса дают коррелирующие пары, поэтому набор промптов должен быть разнообразным. И прогоняют десяток срезов, показывая единственный значимый.