Разброс ответов нейросети

Магазин проверил промпт «где купить кофемашину в Казани» вручную, увидел список без своего бренда и решил, что проблема в контенте. LLMetr прогнал тот же промпт пять раз, и бренд оказался в двух ответах из пяти. Реальная видимость по этому промпту ближе к 40%, чем к нулю, и задача другая: не «появиться», а «стать устойчивее». Условный пример показывает, что такое разброс ответов: отличие друг от друга ответов, которые нейросеть даёт на один и тот же вопрос в разное время. Из-за него бренд может прозвучать в одном ответе и пропасть в соседнем, и по одному ответу судить о видимости нельзя.

Откуда он берётся

Источников несколько, и они складываются. Первый, случайность генерации: модель выбирает каждое следующее слово из распределения вероятностей (как это настраивается, описано в статье про температуру). Даже при нулевой температуре провайдеры не всегда гарантируют побитовое совпадение ответов.

Второй, поиск. Если у нейросети включён веб-поиск, она сама формирует поисковые запросы и получает разные страницы, отсюда разный набор источников и разные бренды (нейросеть с веб-поиском). Третий, обновления: провайдеры меняют модели, индексы и настройки без уведомления, и ответы в понедельник и в пятницу могут опираться на разные версии. Четвёртый, контекст. В интерфейсе ответ зависит от истории чата, региона, аккаунта, через API этого нет (API и интерфейс).

Что с этим делает арифметика

Допустим, бренд на самом деле попадает в ответ на данный промпт в 40% случаев. При трёх прогонах вероятность увидеть его хотя бы раз равна 1 − 0,6³ = 78,4%, а вероятность не увидеть ни разу 0,6³ = 21,6%. Каждый пятый раз вы получите вывод «нас там нет», хотя бренд называют в каждом втором-третьем ответе.

Как не попасться

Не делайте вывод по одному скриншоту ответа, в том числе клиента или руководителя. Не сравнивайте два замера по одному промпту: разброс на уровне одного промпта велик, на уровне 30–50 промптов он усредняется. Колебание в несколько процентных пунктов не принимайте за рост или падение, это может быть шум, и отделять его помогает проверка значимости.

Если снимаете вручную, повторяйте каждый важный промпт: три прогона разумный минимум для широких запросов (в LLMetr это уже сделано). Измеряйте набор из десятков промптов, а не пару ключевых. Сравнивайте замеры по парам «промпт × нейросеть», а не по итоговой цифре. Если видимость по промпту нестабильна, то 0, то 100%, это сигнал: бренд на границе и при небольшом усилении закрепится в ответе.