Почему даже browser agents с точностью 99% дают сбой
Why 99% Accurate Browser Agents Still Fail — Derek Meegan, Browserbase
Браузерный агент с 99% успеха на каждом из 100 шагов доводит транзакцию до конца примерно в трети случаев, поэтому надёжность строят вокруг детерминированных проверок.
- Успех считают по транзакции — ретраи, по расчёту спикера, поднимают успех с 50% за один запуск до 94% за транзакцию при четырёх попытках. Метрикой служит конкретный артефакт, например подтверждение оплаты или новая запись в системе, который можно проверить запросом.
- Детерминированные шаги выносят из модели — скачивание документа свели к одному инструменту, а аутентификацию, которая не меняется от задачи к задаче, вынесли в serverless-функцию. Модель остаётся только там, где есть реальная неоднозначность.
- Результат проверяют инструментом — OCR извлекает сущности из скачанного документа и сверяет их с системой учёта, поэтому агент получает однозначный ответ об успехе, а не полагается на собственное суждение.
- Skills пишут как SOP — инструкция с критическим путём для агента, по словам спикера, удерживает его на нужных шагах, потому что известно, какой шаг идёт следующим.
Кому полезно: тем, кто переводит браузерных агентов из демо в регулярные запуски без присмотра, например в работу с порталами, где нужен подтверждённый результат.
Статья по теме
Главы
Похожие доклады
Выводим агентов во Всемирную паутину
AI Engineer World's Fair 2026
Близко по содержанию
Модели для computer use превратят веб в среду для агентов, а не в набор API
AI Engineer World's Fair 2026
Близко по содержанию
Текущее состояние browser agents
AI Engineer World's Fair 2025
Близко по содержанию
Веб для AI-агентов: упрощаем действия пользователей с WebMCP
AI Engineer Europe 2026
Близко по содержанию

