От MCP к масштабированию: самособирающиеся пайплайны
From MCP to Scale: Pipelines That Build Themselves
Вместо того чтобы передавать LLM каждую страницу, агент один раз пишет скрапер через Bright Data MCP и запускает его по расписанию.
- Скрапер вместо парсинга моделью — агент получает текст страницы через
scrape_as_markdown, а готовый скрипт разбирает данные без участия модели. В демо экономия составила около 62% токенов против разбора HTML моделью; по словам спикера, на трёх страницах она доходит до миллиона. - Самовосстановление пайплайна — агент запускает скрапер, например каждые тридцать минут, проверяет валидность данных и сам правит парсер при пропусках. По словам спикера, исправление занимает около пяти минут.
- Обход защиты — MCP отдаёт страницы с обходом CAPTCHA и антибот-систем, а удалённые браузеры работают с IP из более чем 150 миллионов адресов. По словам спикера, есть и около 500 готовых API для популярных доменов.
- Граница применимости — подход работает только с публичными данными без логина. Спикер советует проверять условия использования сайта перед сбором.
Кому полезно: тем, кто собирает данные с сайтов под Cloudflare, Akamai или Datadome и не хочет вручную чинить скрапер после каждого изменения верстки.
Статья по теме
Главы
Ещё доклады: Rafael Levi
Страница спикера →Следующее узкое место Physical AI — поиск подходящих видео
AI Engineer World's Fair 2026
Самая большая ложь вашего агента: «Я поискал в интернете»
AI Engineer Europe 2026
Похожие доклады
Создание интерактивных интерфейсов в VS Code с помощью MCP Apps
Liam Hampton, Marlene Mhangami
AI Engineer Europe 2026
Близко по содержанию
Не создавайте агентов — создавайте Skills
AI Engineer Code 2025
Близко по содержанию
Масштабирование GitHub для ваших agents
AI Engineer Europe 2026
Близко по содержанию

