Дата отсечки знаний модели

Магазин открылся в начале года, а выбранная модель обучена на данных до прошлого лета. На вопрос «где купить хорошие кроссовки» без поиска бренда в ответе нет, и никакая правка сайта этого не изменит. Та же модель с включённым поиском находит свежий обзор на чужом сайте и называет магазин. Условный пример, но он объясняет, зачем знать дату отсечки знаний (knowledge cutoff): это момент, после которого в обучающих данных языковой модели нет новых текстов. Всё, что случилось позже, она знает только если получит информацию из поиска или из запроса.

Откуда задержка

Обучение LLM занимает месяцы и заканчивается раньше, чем модель становится доступной. Потом она работает с «замороженными» знаниями до новой версии. Разработчики обычно указывают дату отсечки в документации, и у разных версий она разная, поэтому дату нужной вам модели смотрите на странице провайдера.

Что это значит для бренда

Бренд, запущенный после даты отсечки, в ответах «из памяти» не появится, сколько бы о нём ни писали сейчас. Старые данные, наоборот, закрепляются: закрытый магазин, прежний ассортимент и устаревшие цены могут повторяться в ответе. Компенсирует отсечку веб-поиск. Если площадка ищет в интернете во время ответа (веб-поиск в LLM), свежие страницы доступны, и на результат влияют они, а не память. Поэтому для таких площадок усилия идут в источники, которые поисковик найдёт сегодня.

Где тратят силы зря

Правят свой сайт ради ответа, который модель даёт из памяти: там сайт участия не принимает до следующего обучения. Принимают отсутствие бренда в одном режиме за общую проблему, хотя режим с поиском и без него надо мерить раздельно (API и интерфейс). И ждут быстрого эффекта от публикаций: в версию без поиска они попадут только с новым обучением, а когда оно будет, провайдеры обычно не сообщают.