← Каталог

· AI Engineer Europe 2026

От MCP к масштабированию: самособирающиеся пайплайны

From MCP to Scale: Pipelines That Build Themselves

Вместо того чтобы передавать LLM каждую страницу, агент один раз пишет скрапер через Bright Data MCP и запускает его по расписанию.

  • Скрапер вместо парсинга моделью — агент получает текст страницы через scrape_as_markdown, а готовый скрипт разбирает данные без участия модели. В демо экономия составила около 62% токенов против разбора HTML моделью; по словам спикера, на трёх страницах она доходит до миллиона.
  • Самовосстановление пайплайна — агент запускает скрапер, например каждые тридцать минут, проверяет валидность данных и сам правит парсер при пропусках. По словам спикера, исправление занимает около пяти минут.
  • Обход защиты — MCP отдаёт страницы с обходом CAPTCHA и антибот-систем, а удалённые браузеры работают с IP из более чем 150 миллионов адресов. По словам спикера, есть и около 500 готовых API для популярных доменов.
  • Граница применимости — подход работает только с публичными данными без логина. Спикер советует проверять условия использования сайта перед сбором.

Кому полезно: тем, кто собирает данные с сайтов под Cloudflare, Akamai или Datadome и не хочет вручную чинить скрапер после каждого изменения верстки.

Статья по теме

Главы

Ещё доклады: Rafael Levi

Страница спикера →

Похожие доклады