Объём выборки

Замер показал 40%: из десяти ответов бренд назвали в четырёх. Через неделю тот же замер показал 60%. Хочется сказать, что дела пошли в гору, но десять ответов не отличают рост от случайного везения.

Объём выборки: число ответов, из которых посчитан процент. Он решает, сколько в цифре правды, а сколько шума.

Насколько шумит процент

Видимость это доля ответов, где бренд назван. Её погрешность считают по приближённой формуле 1,96 × √(p × (1 − p) / n), где p означает долю, n число ответов, а 1,96 задаёт 95-процентный коридор. Формула грубая и на долях около 0 или 100% врёт, зато порядок величин показывает честно. Допустим, настоящая видимость бренда 40%:

Ответов	Коридор	Что видно в замере
10	± 30 п.п.	от 10% до 70%, по такой цифре ничего не решить
30	± 17 п.п.	от 23% до 57%
100	± 10 п.п.	от 30% до 50%
300	± 5,5 п.п.	от 34,5% до 45,5%

Вдвое сузить коридор можно, только собрав вчетверо больше ответов. Два лишних вопроса к десяти ничего не изменят, а с 30 ответов на 300 цифра становится рабочей.

Три прогона не равны трём вопросам

В таблице n означает число независимых наблюдений, а ответы на один и тот же вопрос независимыми не бывают. Спросите нейросеть трижды «где купить проектор», и вы получите три похожих ответа. Повтор убирает случайный шум внутри вопроса, но набор вопросов остаётся тем же. Поэтому 30 промптов с тремя прогонами дают не 90 наблюдений, а те же 30, только с более точной оценкой по каждому.

Насколько шумит один вопрос, мы видели в пилоте. На тридцати вопросах интернет-магазина сняли по два прогона подряд, и по трём вопросам результат разошёлся: в первом прогоне бренд назвали, во втором нет. Хуже всего это для вопросов, где бренд на грани, и там повторы нужны больше всего. Но ширину коридора они не меняют, её задаёт число разных вопросов.

Отсюда и «±» в LLMetr. Мы считаем его по промптам, а не по ответам: 95-процентный интервал методом бутстрэпа, то есть многократной пересборкой списка вопросов. Цифра выходит честнее и шире, чем по формуле выше.

Что делать с маленькой выборкой

Для общей цифры ориентируйтесь на тридцать промптов и больше. Если меньше, замер годится для знакомства, а выводы лучше отложить.

Срезы шумят сильнее целого. В группе из пяти вопросов коридор около ± 40 п.п., и решения по такой группе принимать рано, ей место в списке подсказок. Смотрите, сколько ответов в срезе, и группы меньше двадцати не трактуйте.

Сравнивая два замера, не считайте разницу в процентах. Смотрите на значимость: она учитывает и объём, и то, сколько вопросов изменилось в одну сторону. Если общих пар мало, LLMetr так и напишет: «мало данных» (критерий знаков).

Если выбирать между повторами и новыми вопросами, берите вопросы: только они расширяют выборку по-настоящему. С нейросетями иначе. У каждой своя видимость, и общий процент меняется вместе с набором, поэтому после смены набора замеры сравнивайте осторожно.

Где это в LLMetr

В сводке замера рядом стоят полученные и запланированные ответы. Недособранные (отказ модели, слишком короткий текст, уточняющий вопрос вместо ответа) после повтора исключаются, а индикатор полноты показывает, какая часть замера в итоге собрана. Устойчивые вопросы мы спрашиваем реже, спорные чаще: расход падает, а точность остаётся там, где она нужна. Подробности в методике, рядом стоят термины прогон и разброс ответов.