Доступ известных ботов

WebShield распознаёт известных ботов по User-Agent и позволяет для каждого хоста отдельно решить, кого пропускать, а кого блокировать. Это удобно, когда, например, поисковики нужны для индексации, а ИИ-краулеры для обучения моделей — нежелательны.

По умолчанию разрешены все известные боты. Блокировка настраивается точечно: вы снимаете галочку у тех ботов, которым хотите закрыть доступ.

Группы ботов

Боты сгруппированы по назначению:

• ИИ-краулеры для обучения — собирают контент для обучения моделей: GPTBot (OpenAI), ClaudeBot и anthropic-ai (Anthropic), CCBot (Common Crawl), Bytespider (TikTok), Amazonbot, Meta-ExternalAgent, Google-CloudVertexBot, Cohere, Diffbot, Timpibot и др.
• ИИ-поисковые краулеры — индекс для ответов ИИ-поиска: OAI-SearchBot (OpenAI), PerplexityBot.
• ИИ-ассистенты — подтягивают страницу по запросу пользователя в чате: ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher, MistralAI-User, DuckAssistBot.
• Поисковые системы — Googlebot, Bingbot, YandexBot, DuckDuckBot, Baiduspider, Applebot, PetalBot и др.
• Соцсети и мессенджеры — превью ссылок: Facebook, X (Twitter), LinkedIn, Pinterest, Telegram, Discord, Slack, WhatsApp, VK и др.
• SEO и анализ — AhrefsBot, SemrushBot, MJ12bot, DotBot, DataForSeoBot и др.
• Мониторинг и аптайм — UptimeRobot, Pingdom, StatusCake, Site24x7 и др.

Как настроить

1. Откройте Домены → DNS → Параметры прокси (для проксируемого хоста) или карточку сайта в разделе Сайты (для статического).
2. В блоке Известные боты снимите галочки у ботов, которым нужно закрыть доступ. Установленная галочка означает «разрешён», снятая — «заблокирован».
3. Для быстрого действия по всей группе используйте кнопку Заблокировать группу / Разрешить группу, а вернуть всех — кнопкой Разрешить всех.
4. Сохраните изменения.

Заблокированный бот получает ответ 403 ещё до вашего сервера: контент к нему не попадает, нагрузка на origin не создаётся.

Типичные сценарии

• Оставить поиск, закрыть ИИ: снимите галочки в группах «ИИ-краулеры для обучения» и «ИИ-поисковые краулеры», оставив поисковые системы разрешёнными — так вы сохраняете индексацию в обычном поиске, но не отдаёте контент на обучение моделей.
• Уникальный или платный контент: заблокируйте ИИ-краулеры и, при необходимости, SEO-инструменты, которые создают лишнюю нагрузку и копируют структуру сайта.
• Только мониторинг: если хост технический, можно оставить разрешённой лишь группу мониторинга.

Граница

Распознавание идёт по User-Agent. Честные боты крупных компаний представляются настоящим именем, и блокировка к ним применяется надёжно — в том числе к ботам с проверенных IP-адресов, если вы осознанно их закрыли. Однако User-Agent можно подделать: бот, маскирующийся под обычный браузер, этим слоем не отсекается — против таких работают другие механизмы WebShield (проверка браузера, сигнатуры, TLS-фингерпринт, анализ слепка и поведения).

Токены вида Google-Extended и Applebot-Extended управляют обучением через файл robots.txt, а не отдельным User-Agent.