Как мы проверяем точность данных

Раз в сутки сервис берёт случайные небрендовые вопросы из реальных проектов и задаёт их всем нейросетям, которые мы измеряем. Команда проекта вручную задаёт те же вопросы тем же нейросетям и сравнивает с нашим ответом: «совпадает» (тот же смысл, те же названные бренды и сайты) или «не совпадает». Результаты публикуются без правок на странице «Точность данных»: по датам и нейросетям, с процентами успешных и неуспешных проверок. Краткая сводка есть на главной и на странице «Как мы снимаем».

Рядом показана общая статистика сервиса: какая доля замеров завершилась успешно, а какая остановлена или закончилась ошибкой (служебные, питч-замеры и остановленные самим пользователем не считаются). Проценты ручных проверок видны сразу, вместе с числом проверенных ответов. Ограничения честно указаны там же: ответ нейросети меняется от раза к разу, проверка проводится командой проекта (это не независимый аудит), а Google AI Overviews человек видит с учётом аккаунта и истории.