Замер

Магазин часов снимает замер раз в неделю: 30 промптов, 3 нейросети, 3 прогона. Видимость за пять недель: 22%, 24%, 21%, 31%, 33%. Между третьей и четвёртой неделей владелец опубликовал страницы-сравнения и разместил обзоры на двух площадках. Скачок на 10 п.п. выглядит убедительно, но верить глазам рано: сначала нужно проверить значимость. Условный пример показывает, зачем в LLMetr понятие замера: это полный запуск всех промптов проекта по выбранным нейросетям, каждый промпт с несколькими прогонами (их число мы подобрали сами). Замер даёт одну дату и один набор ответов, из которых считаются видимость бренда, доля голоса, тональность и остальные показатели. Следующий замер сравнивают с предыдущим.

Из чего он состоит

Замер охватывает три измерения: промпты, нейросети и прогоны. В проекте 40 промптов, выбраны ChatGPT, Perplexity и DeepSeek, прогонов обычно три, значит запланировано 40 × 3 × 3 = 360 ответов. Их может быть меньше, если сработали адаптивные повторы, и число ограничено лимитом тарифа.

Если перед запуском хоть одна нейросеть не отвечает, замер останавливается, а причина показывается на дашборде. Так сделано намеренно: замер с дырой в одной нейросети даёт искажённую общую видимость, и сравнивать его с прошлым нельзя.

Почему решения принимают по замеру

Ответ нейросети сам по себе мало что значит (см. разброс ответов). Замер собирает достаточно ответов, чтобы доля упоминаний стала устойчивой. Один замер отвечает на вопрос «как у нас сейчас». Серия отвечает на вопрос «что изменилось и после чего».

Что портит серию

Чаще всего меняют набор промптов или нейросетей между замерами и сравнивают итоговые проценты. Смена набора сдвигает цифру сама по себе. LLMetr пишет такие смены в журнал и ставит аннотацию на графике. Замеры снимают слишком редко: раз в квартал изменение трудно связать с причиной. Или слишком часто на малой выборке, и тогда разница между соседними точками тонет в шуме. Ещё не фиксируют, что менялось на сайте и вне его, а для этого есть аннотации.

Большинству магазинов и брендов подходит ритм раз в неделю, ежемесячный годится для редко меняющихся ниш. Без причины набор промптов не трогайте, а если пришлось, отметьте дату аннотацией. После правок на сайте дожидайтесь следующего замера и сравнивайте его с тем, что был до правки.