Повторы и неполные замеры: как мы защищаем данные

• Повторы. Временные сбои (перегрузка, лимиты, таймаут) повторяются с паузами 1, 5, 20 и 60 минут, до 5 попыток.
• Ошибки сбора. Если с нейросетью случилась серьёзная проблема, остальные её запросы в этом замере не отправляются, в поддержку уходит экстренное оповещение, мы проверяем и чиним проблему.
• Контроль качества. Слишком короткие ответы, отказы и встречные вопросы («какой именно бренд вы имеете в виду?») запрашиваются заново. Если не помогло, такой ответ не засчитывается как «бренда нет» и исключается из статистики.
• Второй проход. Недособранные ответы в конце запрашиваются ещё раз.
• Нестабильные ячейки. Если для пары «вопрос × нейросеть» результат («бренд есть» или «нет») менялся в последних замерах (смотрим 3), повторы такого вопроса запрашиваются сразу и параллельно, а не после пробных прогонов. У вопроса с одним прогоном добавляется второй (не больше 15% от плана и в пределах вашего лимита ответов).
• Выбросы. Если ответ одной нейросети резко выбивается из ответов других на тот же вопрос (написан на другом языке, подозрительно короткий, совсем не похож на остальные), он не попадает в статистику, а вместо него запрашивается новый. Заменяется не больше 5% ответов, лимит ответов при этом не тратится дважды.
• Полнота. Если собрано меньше 100%, на дашборде появляется предупреждение, замер отмечен ромбиком на графике, а в таблице «По нейросетям» есть столбец «Собрано».

При полноте ниже 80% мы присылаем уведомление и не сравниваем такой замер с соседними.

Все перепроверки идут до статуса «готово» и параллельно с остальными запросами: вы видите один итог, а не цифры, которые потом меняются.