← Каталог

Browser agents нуждаются не в более мощных моделях, а в лучшем зрении

Browser Agents Don't Need Better Models. They Need Better Eyes. - Kushan Raj, Sarvam AI

Браузерным агентам мешает не слабость модели, а плохое представление страницы и отсутствие обратной связи после действий, по словам автора.

  • Компактный Markdown вместо DOM — полный DOM страницы занимает около 20 000 токенов, а Markdown-представление автора около 1 800. Агент видит всю страницу целиком и может получать её вместе со скриншотом.
  • Обратная связь после действий — рантайм отслеживает появившиеся и исчезнувшие элементы и сообщает агенту, что клик не сработал и какой элемент его перекрыл. Это позволяет агенту понять, где он ошибся, и перепланировать длинную последовательность шагов.
  • Сравнение с Claude на примерах — на скачивании документа Claude, по словам автора, провёл около 2 минут, а прототип справился быстро. На бронировании Claude застрял на выборе даты, а прототип её выбрал.
  • Планы на открытый код и API — автор собирается выложить проект в open source и, возможно, открыть API, где на вход идут URL и намерение, а на выход возвращается результат.

Кому полезно: тем, кто строит браузерных агентов и сталкивается с медленными и зацикливающимися сценариями на сложных сайтах.

Главы

Похожие доклады