· AI Engineer World's Fair 2026
Computer-Use 2.0: agents теперь работают с несколькими курсорами
Computer-Use 2.0: Agents Just Got Multi-Cursor
Фоновое управление окнами, по словам авторов, поднимает успешность computer-use агентов, но на задачах с пустой схемой KiCad их успешность падает до нуля.
- Фоновое управление без перехвата экрана — Cua Driver сначала читает дерево доступности и при неудаче переходит к клику по пикселям в фоне, не забирая экран у пользователя; версии есть для macOS, Windows и Linux.
- Работа с окном вместо рабочего стола — по словам авторов, переход со встроенного инструмента на Cua Driver поднял успешность на базовом наборе Cua-Bench с 62% до 80% и снизил расход токенов на 34%. Авторы связывают это с тем, что инструмент работает с окном, а не со всем экраном.
- Оценка задач, которой можно доверять — перед включением в датасет агенты пытаются сломать среду и обойти проверку, а в Cua-Bench уже более 130 проверяемых задач на 42 средах и пяти платформах. В наборе KiCad, сделанном с Snorkel AI, лучший агент полностью прошёл шесть из 25 задач, и все шесть были правкой существующей схемы.
Кому полезно: тем, кто строит computer-use агентов и проверяет их на воспроизводимых задачах. Доклад в основном про продукты Cua, но инженерная часть про фон и оценку переносима на любой стек.
Статья по теме
Главы
Похожие доклады
Всё, что нужно, — это веб-браузер
AI Engineer World's Fair 2025
Близко по содержанию
Автономный компьютер: инфраструктура для computer-use agents
AI Engineer World's Fair 2026
Близко по содержанию
Модели для computer use превратят веб в среду для агентов, а не в набор API
AI Engineer World's Fair 2026
Близко по содержанию
Текущее состояние browser agents
AI Engineer World's Fair 2025
Близко по содержанию



