Точность данных: проверяем себя каждый день

Статистика сервиса

Ручная перепроверка: каждый день сверяем себя с реальностью

1. Каждый день система выбирает случайные небрендовые вопросы из реальных проектов: такие, где нейросеть сама решает, кого назвать.
2. Эти вопросы задаются всем нейросетям, которые мы измеряем, тем же способом, что и в обычных замерах.
3. Команда проекта вручную задаёт те же вопросы тем же нейросетям (чат или поисковая выдача), как это делает обычный человек, и сравнивает с нашим ответом.
4. Ответ отмечается «совпадает», если по смыслу тот же: названы те же бренды и сайты, тот же вывод; различия формулировок допустимы. «Не совпадает» — если мы получили заметно другое или не увидели то, что видит человек.
5. Результаты попадают сюда без исправлений: и успешные, и неуспешные.

По нейросетям

По датам

Что эта проверка не доказывает

• Ответ нейросети от раза к разу меняется. «Совпадает» означает «тот же по смыслу», а не «слово в слово».
• Проверка проводится командой проекта, это не независимый аудит. Поэтому мы публикуем и критерий, и каждый день.
• Выдачу Google AI Overviews человек видит с учётом аккаунта и истории; мы снимаем анонимную мобильную выдачу, и это одна из причин расхождений.

Как мы снимаем ответы · Проверить свой бренд