Статистическая значимость

Видимость была 24%, стала 28%. Команда отчитывается о росте. Если в замере было 30 ответов, 4 п.п. составляют один-два ответа, и такая разница возникает сама по себе постоянно. Если ответов было 600, те же 4 п.п. означают заметно больше, хотя и тогда нужна проверка. Условный пример объясняет, чем занимается статистическая значимость: она оценивает, насколько вероятно, что наблюдаемая разница между двумя замерами возникла случайно. Если вероятность мала (принятый порог 5%), различие считают значимым. Если велика, это шум.

Зачем она в замерах

Нейросети отвечают случайно (разброс ответов), поэтому два замера подряд никогда не совпадут до процента, даже если на сайте и в сети ничего не менялось. Вопрос не в том, отличается ли цифра, а в том, отличается ли она сильнее, чем при случайных колебаниях.

Как она работает

Любой критерий значимости задаёт нулевую гипотезу «ничего не изменилось» и считает, как часто при ней встречалась бы такая разница. Результат называют p-значением. p = 0,04 означает: если на деле изменения нет, такое или более сильное расхождение встречалось бы примерно в 4 случаях из 100. Тогда нулевую гипотезу отвергают на уровне 5%.

У значимости два ограничения. Она зависит от объёма данных: большая выборка делает значимой даже малую разницу, малая прячет большую. И она говорит лишь о том, что разница реальна, а не о том, что причина в вашей правке. Причину устанавливают сопоставлением с датами изменений и контрольными группами промптов.

Где обманывается глаз

Смотрят на итоговый процент и не смотрят на число ответов. Считают «не значимо» равным «ничего не изменилось», хотя это значит только, что данных недостаточно для вывода. Проверяют много срезов подряд (по каждой нейросети, группе, региону) и радуются единственному значимому: из 20 проверок на уровне 5% одна в среднем даст «значимое» случайно. И меняют набор промптов между замерами, сравнивая итог.

Смотрите на состояние сравнения («значимо», «в пределах шума», «мало данных»), а не на стрелку вверх или вниз. Если данных мало, добавьте промпты или прогоны (объём выборки). Для проверки эффекта правки сравнивайте один и тот же набор пар до и после.