ИИ-краулеры: GPTBot, OAI-SearchBot, PerplexityBot и другие

В логах сайта появились строки с GPTBot и PerplexityBot, и владелец решает закрыть их все одним правилом. Так делать не стоит: у этих ботов разные задачи, и закрытие «скопом» убирает магазин из поиска ChatGPT, хотя хотели защититься от обучения. ИИ-краулеры: роботы компаний, которые делают нейросети. Они читают сайты для обучения моделей, для поискового индекса или по запросу конкретного человека.

Три вида ботов

Для видимости в ответах важны поисковые боты и боты запроса. Боты обучения влияют на то, что модель будет знать «из памяти» после следующего обучения.

Кто есть кто

Таблица составлена по документации на 14 октября 2026.

Компания	Бот	Назначение	Примечание
OpenAI	OAI-SearchBot	показ сайтов в поиске ChatGPT	закрытый сайт не показывается в ответах поиска, но может остаться навигационной ссылкой
OpenAI	GPTBot	сбор данных, которые могут пойти в обучение	запрет сообщает, что контент не должен использоваться для обучения
OpenAI	ChatGPT-User	действия по запросу пользователя в ChatGPT и GPT-ботах	правила robots.txt могут не применяться, так как запрос инициировал человек
OpenAI	OAI-AdsBot	проверка страниц, поданных в рекламу ChatGPT	заходит только на присланные страницы
Anthropic	ClaudeBot	сбор контента для обучения
Anthropic	Claude-SearchBot	индекс для поиска	блокировка может снизить видимость в результатах поиска Claude
Anthropic	Claude-User	загрузка страницы по запросу пользователя
Perplexity	PerplexityBot	показ сайтов в результатах Perplexity	по заявлению компании, не для обучения базовых моделей
Perplexity	Perplexity-User	заход по вопросу пользователя	в целом игнорирует robots.txt
Google	Google-Extended	токен для robots.txt: обучение Gemini и «заземление» в Gemini Apps и Vertex AI	отдельного user-agent нет; на Поиск не влияет
Google	Googlebot	обход для Поиска	AI Overviews и AI Mode используют индекс Поиска

Источники: OpenAI, Anthropic, Perplexity, Google. Поставщики меняют списки и номера версий в строке user-agent, поэтому перед правкой откройте документацию.

Официального списка ботов для нейроответов у российских систем мы не нашли. Алиса AI использует результаты обычного Поиска Яндекса (справка). Сторонние каталоги называют токен YandexAdditional для быстрых ответов, но в документации Яндекса, которую удалось открыть, его нет. Здесь надёжнее смотреть логи и справку Яндекса. У GigaChat собственного бота в открытой документации тоже нет.

robots.txt для магазина

Условный пример: магазин хочет попадать в ответы поиска ChatGPT, Claude и Perplexity и не отдавать тексты в обучение.

# Поисковые боты: разрешаем
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Сбор для обучения: закрываем
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Остальные
User-agent: *
Disallow: /cart/
Disallow: /account/
Sitemap: https://example-shop.ru/sitemap.xml

Группа с конкретным user-agent заменяет для этого бота группу *. Если служебные разделы закрыты в *, повторите эти правила в каждой отдельной группе, иначе бот увидит корзину и личный кабинет.

Где ломается

Чаще всего закрывают все ИИ-боты сразу. OpenAI указывает, что настройки независимы: OAI-SearchBot можно пускать, а GPTBot закрывать.

Второй способ навредить себе: блокировка по IP или в WAF. Anthropic прямо советует так не делать, потому что бот просто не прочитает robots.txt. Проверьте, что защита в CDN не отдаёт 403 поисковым агентам.

Результата быстро ждать не стоит. OpenAI называет срок около 24 часов на применение изменений в поиске, а у моделей обучения свой цикл. И не доверяйте user-agent как паспорту: строку легко подделать, поэтому сверяйте по опубликованным спискам IP (OpenAI и Perplexity выкладывают JSON-файлы).