← Каталог

· AI Engineer World's Fair 2025

Текущее состояние browser agents

The Current State of Browser Agents

Браузерные агенты неплохо читают веб с успехом около 80%, но на задачах на запись, по словам авторов, успешность падает примерно вдвое, поэтому их нужно тестировать до продакшена.

  • Тип задачи решает многое — на WebBench (более 5000 задач, около половины открыто) лучшие агенты справляются с задачами на чтение, а задачи на запись, такие как заполнение форм и изменение состояния сайта, выполняют заметно хуже. Для них авторы советуют строить внутренние evals до выпуска.
  • Инфраструктура меняет результат — капчи, прокси и блокировки заметно разводят провайдеров по успешности. Авторы советуют сравнивать несколько провайдеров: их легко переключать, а при блокировке прокси провайдер часто может снять ограничение.
  • Часть провалов не из-за модели — по данным авторов, около 20–25% провалов на задачах на чтение вызваны инфраструктурой: капчи, прокси, логин с подтверждением почты. По их оценке, улучшение инфраструктуры дало бы заметный прирост.
  • Гибридная схема — по наблюдениям авторов за клиентами, агентов ставят на редкие и часто меняющиеся шаги, а стабильные массовые сценарии переводят на детерминированный Playwright.

Кому полезно: тем, кто решает, какие браузерные сценарии отдать агенту, а какие оставить детерминированным скриптам.

Статья по теме

Главы

Похожие доклады