Ответ через API и ответ в интерфейсе

Менеджер магазина спрашивает ChatGPT в приложении про беговые дорожки и видит свой бренд вторым в списке. В замере LLMetr по тому же вопросу бренд назван в 4 ответах из 10. «Сервис врёт», решает менеджер. Но это два разных измерения: одиночный ответ в личном аккаунте с историей чатов и выборка из десяти ответов без персонализации. Отсюда вся тема: через API и в приложении одна и та же модель отвечает по-разному, потому что приложение добавляет слой над моделью (системные инструкции, память о вас, поиск, оформление), а API отдаёт ответ с теми настройками, что указали вы.

Где расходятся

Фактор	Приложение или сайт	API
Системные инструкции	Скрытые, задаёт сервис	Нет или ваши
Веб-поиск	Модель сама решает, искать ли	Включается явно, у части моделей недоступен
Персонализация и память	Влияют на ответ	Нет
Геолокация и язык	Берутся из устройства и аккаунта	Задаются параметрами или не учитываются
Версия модели	Выбирает сервис, часто меняет	Указывается идентификатором
Параметры генерации	Скрыты	Видны и частично настраиваются (температура)

Зачем тогда API

У API есть то, чего нет у приложения: условия повторяются, ответ приходит целиком в машинном виде, видны ссылки на источники и цена запроса, а десятки промптов в час запускаются без ручной работы. Приложение вручную снимать дорого, и автоматические заходы в чужой интерфейс нарушают правила сервисов. Плата за такой выбор: возможное расхождение с тем, что увидит человек.

Поэтому показатель из API описывает видимость в типичных условиях без персонализации. Расхождение с приложением ожидаемо и не говорит об ошибке замера. Сравнивать стоит динамику во времени, а не одно число со скриншотом.

Исключения по нейросетям

Google AI Overviews. Обычного API модели у них нет. Мы берём анонимную мобильную выдачу через сервис поисковой выдачи. Обзор Google показывает не на каждый запрос и не одинаково при повторах.

DeepSeek и GigaChat. DeepSeek мы снимаем в двух режимах: «с поиском» (поиск Яндекса подключаем сами, как в приложении с включённой кнопкой «Поиск») и без. GigaChat через API отвечает без веб-поиска, а в приложении поиск есть. Поэтому цифры по GigaChat и по DeepSeek без поиска могут заметно отличаться от опыта людей в приложении.

ChatGPT и Perplexity. Их замеряем с включённым поиском, но какие страницы открыть, решает сама модель, и от запуска к запуску это меняется.

Алиса AI. Саму Алису мы не снимаем. В опции «YandexGPT» ответ приходит из генеративного поиска Яндекса через официальный API: он не учитывает вашу историю и город, и Яндекс не заявляет, что он совпадает с Алисой. Оценить видимость сайта можно в отчёте Яндекс Вебмастера.

Как проверить расхождение у себя

1. Возьмите 10–20 промптов

   Выберите вопросы из реального набора, не только удобные.

   1 час
2. Спросите в приложении в чистом режиме

   Без входа в аккаунт или во временном чате, по три раза на вопрос, и запишите, есть ли бренд.

   2–3 часа
3. Сравните доли, а не отдельные ответы

   Если доля бренда в приложении и в замере примерно совпадает, метод даёт представление о картине. Расхождение запишите и учитывайте при чтении.

   30 минут