· AI Engineer World's Fair 2026
Создание AI agents с веб-данными в реальном времени
Building AI Agents with Real-Time Web Data — Yohan Raju, Bright Data
Главная сложность агентов с актуальными данными из веба — сбор данных: сайты меняют селекторы и блокируют ботов, поэтому нужна отдельная инфраструктура.
- Слои пайплайна — расписание, прокси, парсинг, валидация полей, дедупликация, обогащение и доставка. Сбой на любом слое, по словам спикера, требует перезапуска всей цепочки и досбора данных.
- Поиск или предобученные знания — если модель может ответить из обученных данных, веб не нужен. Повторяющиеся запросы, например погоду, стоит кешировать, чтобы не тратить токены на каждый поиск.
- Цена скрепера — по словам спикера, написание скрепера под один сайт занимает три–пять дней. При изменении разметки нужны починка и досбор пропущенных полей.
- MCP-сервер — по словам спикера, у сервера Bright Data больше шестидесяти инструментов для поиска, извлечения страниц и браузерной автоматизации; доклад по сути презентация продукта. В демо Claude с этим сервером получил страницу Glassdoor, а без него доступ заблокировали.
Кому полезно: тем, кто строит агентов, которым нужны свежие данные с сайтов, защищённых от ботов.
Статья по теме
Главы
Похожие доклады
От исходных документов к данным, готовым для ИИ
AI Engineer World's Fair 2026
Близко по содержанию
Как создавать финансовых agents для работы в интернете
Близко по содержанию
Слой контекста данных для agents
Brandon Callender, Yoni Michael
AI Engineer World's Fair 2026
Близко по содержанию
Самая большая ложь вашего агента: «Я поискал в интернете»
AI Engineer Europe 2026
Близко по содержанию

