← Каталог

· AI Engineer World's Fair 2026

Создание AI agents с веб-данными в реальном времени

Building AI Agents with Real-Time Web Data — Yohan Raju, Bright Data

Главная сложность агентов с актуальными данными из веба — сбор данных: сайты меняют селекторы и блокируют ботов, поэтому нужна отдельная инфраструктура.

  • Слои пайплайна — расписание, прокси, парсинг, валидация полей, дедупликация, обогащение и доставка. Сбой на любом слое, по словам спикера, требует перезапуска всей цепочки и досбора данных.
  • Поиск или предобученные знания — если модель может ответить из обученных данных, веб не нужен. Повторяющиеся запросы, например погоду, стоит кешировать, чтобы не тратить токены на каждый поиск.
  • Цена скрепера — по словам спикера, написание скрепера под один сайт занимает три–пять дней. При изменении разметки нужны починка и досбор пропущенных полей.
  • MCP-сервер — по словам спикера, у сервера Bright Data больше шестидесяти инструментов для поиска, извлечения страниц и браузерной автоматизации; доклад по сути презентация продукта. В демо Claude с этим сервером получил страницу Glassdoor, а без него доступ заблокировали.

Кому полезно: тем, кто строит агентов, которым нужны свежие данные с сайтов, защищённых от ботов.

Статья по теме

Главы

Похожие доклады