← Каталог

· AI Engineer Code 2025

Почему даже browser agents с точностью 99% дают сбой

Why 99% Accurate Browser Agents Still Fail — Derek Meegan, Browserbase

Браузерный агент с 99% успеха на каждом из 100 шагов доводит транзакцию до конца примерно в трети случаев, поэтому надёжность строят вокруг детерминированных проверок.

  • Успех считают по транзакции — ретраи, по расчёту спикера, поднимают успех с 50% за один запуск до 94% за транзакцию при четырёх попытках. Метрикой служит конкретный артефакт, например подтверждение оплаты или новая запись в системе, который можно проверить запросом.
  • Детерминированные шаги выносят из модели — скачивание документа свели к одному инструменту, а аутентификацию, которая не меняется от задачи к задаче, вынесли в serverless-функцию. Модель остаётся только там, где есть реальная неоднозначность.
  • Результат проверяют инструментом — OCR извлекает сущности из скачанного документа и сверяет их с системой учёта, поэтому агент получает однозначный ответ об успехе, а не полагается на собственное суждение.
  • Skills пишут как SOP — инструкция с критическим путём для агента, по словам спикера, удерживает его на нужных шагах, потому что известно, какой шаг идёт следующим.

Кому полезно: тем, кто переводит браузерных агентов из демо в регулярные запуски без присмотра, например в работу с порталами, где нужен подтверждённый результат.

Статья по теме

Главы

Похожие доклады