Число прогонов: сколько раз задавать вопрос

Нейросети отвечают недетерминированно: на один и тот же вопрос ответы разные. Поэтому смысловые вопросы лучше задавать несколько раз и считать долю, а не случайное «есть или нет».

Число прогонов вам настраивать не нужно: мы, команда LLMetr, подобрали его заранее и держим под капотом. Оно проверено на больших объёмах замеров и одинаково для всех проектов, поэтому цифры в разных проектах сопоставимы. Единственное, что можно указать, — какие группы навигационные: это вопросы с названием вашего бренда («адрес…», «доставка…»). Им хватает одного прогона, потому что ответ стабилен. Отметка «с брендом» стоит в окне «Группы» на вкладке «Промпты».

У каждой нейросети число прогонов своё. Разным сервисам нужно разное число повторов, чтобы результат был устойчивым. Мы подобрали число для каждой нейросети по результатам замеров: ChatGPT два раза, остальные до трёх. Навигационным группам всегда достаточно одного. Если данные покажут, что число стоит поменять, мы поменяем его сами для всех проектов.

Адаптивные повторы. Сначала мы делаем два пробных прогона каждого промпта. Если оба дали один результат (бренд есть в обоих или нет ни в одном), остальные прогоны не запрашиваются: ответ и так устойчив. Если результаты разошлись, добираем оставшиеся. Так мы тратим повторы там, где нужна точность. В окне запуска указан максимум запросов, а фактически их обычно меньше.

Нестабильные вопросы не ждут проб. Если по паре «вопрос × нейросеть» бренд то появлялся, то нет в последних замерах, все её прогоны запрашиваются сразу: ждать пробных незачем. Для вопросов с одним прогоном в таких случаях добавляется второй. Это не меняет число запросов для стабильных вопросов.

Прогоны лимит замеров не тратят: замер расходует по одной проверке на промпт, сколько бы раз мы его ни задавали. На тарифе «Гибкий» прогоны входят в стоимость замера. Что расходует лимит.