· AI Engineer World's Fair 2025
Как защитить сайты от AI-ботов
How to defend your sites from AI bots
Защитить сайт от AI-ботов надёжнее всего отпечатками клиента и лимитами по ним, потому что IP-адреса и User-Agent легко подделать.
- Три разных краулера OpenAI — OAI-SearchBot индексирует сайт для поиска ChatGPT и приводит ссылки и трафик, ChatGPT-User ходит по ссылке, которую дал пользователь, а GPTBot собирает данные для обучения и обычно не даёт ни трафика, ни цитирования.
- Цена трафика ботов — по словам спикера, Read the Docs после блокировки всех AI-краулеров снизил трафик с 800 до 200 ГБ в день, а GPTBot давал 24% трафика Diaspora.
- Проверка по IP, а не по строке — User-Agent клиент задаёт сам, поэтому поисковых ботов Google, Bing и OpenAI проверяйте обратным DNS по IP, а на формах регистрации, которые ждут людей, отмечайте адреса дата-центров.
- Отпечаток вместо IP — боты меняют сотни тысяч адресов, поэтому блокируйте отпечаток клиента (открытый JA4 по TLS или проприетарный по HTTP-заголовкам) и ограничивайте частоту по нему или по сессии; open source прокси Anubis, Go Away и Nepenthes реализуют proof of work.
Кому полезно: тем, чей сайт или документация страдают от нагрузки ботов и кому нужно отделить полезных краулеров от скрейперов, не блокируя весь трафик подряд.
Статья по теме
На какие вопросы отвечает доклад
Какие AI-краулеры полезны для сайта, а какие только забирают контент без пользы?
OpenAI разделяет краулеры: OAI-SearchBot индексирует сайт для поиска ChatGPT и даёт цитаты и переходы, ChatGPT-User ходит по запросу пользователя, а GPTBot собирает данные для обучения и обычно не даёт пользы владельцу сайта.
▶ 3:56Поисковые боты, краулеры для обучения и запущенные пользователями агентыКак проверить, что запрос с user agent Googlebot действительно пришёл от Google?
User agent легко подделать, поэтому нужно проверить IP-адрес обратным DNS-запросом: Google, Bing, Apple и OpenAI поддерживают такую проверку и подтверждают, их ли это клиент.
▶ 8:31Как распознавать краулеры по заголовкам HTTP и обратному DNSПочему скрейперы и AI-краулеры увеличивают счета за serverless и трафик сайта?
Каждый запрос к динамическому сайту стоит денег в serverless, а загрузка больших файлов съедает трафик. По словам спикера, Read the Docs после блокировки AI-краулеров снизил трафик с 800 до 200 ГБ в день, а на Wikipedia до 35% трафика уходит на автоматических клиентов.
▶ 2:23Как ИИ-боты создают нагрузку на сайты и платформы документацииЧто делать, если CAPTCHA уже не спасает сайт от автоматических клиентов?
CAPTCHA AI решает за секунды и дёшево, поэтому спикер советует слоистую защиту. Proof of work заставляет клиента тратить CPU на каждый запрос, что дорого для массового краулера, но выгоду от перепродажи билетов это может не остановить. Для этого есть открытые прокси Anubis, Go Away и Nepenthes.
▶ 8:31Как распознавать краулеры по заголовкам HTTP и обратному DNSКак ограничить скрейпинг, если бот меняет IP-адреса и ходит через сотни тысяч адресов?
Нужно снять отпечаток клиента: открытый JA4 по TLS-настройкам или проприетарный отпечаток по HTTP-заголовкам. Блокировать или ограничивать по отпечатку и ID сессии надёжнее, чем по IP, который меняется.
▶ 15:12Прокси-защита на базе open source и подписанные запросыКак отличить AI-агента, который действует от имени пользователя, от обычного бота?
Агенты с браузером в VM выглядят как обычный Chrome, поэтому их трудно распознать. Спикер называет развивающиеся стандарты подписи HTTP-запросов, которые предложил Cloudflare, и Private Access Tokens от Apple, но первый пока в разработке, а второй почти не принят за пределами Apple.
▶ 15:12Прокси-защита на базе open source и подписанные запросы
Главы
Похожие доклады
Реальные атаки на AI-агентов и меры, которые могли бы их предотвратить
Близко по содержанию
Самая большая ложь вашего агента: «Я поискал в интернете»
AI Engineer Europe 2026
Близко по содержанию
300 agents, 60 человек: как мы обеспечили безопасность собственных AI agents
Близко по содержанию
AI-хакеры быстрее вашего пентеста
AI Engineer World's Fair 2026
Близко по содержанию

