← Каталог

· AI Engineer World's Fair 2026

Computer-Use 2.0: agents теперь работают с несколькими курсорами

Computer-Use 2.0: Agents Just Got Multi-Cursor

Фоновое управление окнами, по словам авторов, поднимает успешность computer-use агентов, но на задачах с пустой схемой KiCad их успешность падает до нуля.

  • Фоновое управление без перехвата экрана — Cua Driver сначала читает дерево доступности и при неудаче переходит к клику по пикселям в фоне, не забирая экран у пользователя; версии есть для macOS, Windows и Linux.
  • Работа с окном вместо рабочего стола — по словам авторов, переход со встроенного инструмента на Cua Driver поднял успешность на базовом наборе Cua-Bench с 62% до 80% и снизил расход токенов на 34%. Авторы связывают это с тем, что инструмент работает с окном, а не со всем экраном.
  • Оценка задач, которой можно доверять — перед включением в датасет агенты пытаются сломать среду и обойти проверку, а в Cua-Bench уже более 130 проверяемых задач на 42 средах и пяти платформах. В наборе KiCad, сделанном с Snorkel AI, лучший агент полностью прошёл шесть из 25 задач, и все шесть были правкой существующей схемы.

Кому полезно: тем, кто строит computer-use агентов и проверяет их на воспроизводимых задачах. Доклад в основном про продукты Cua, но инженерная часть про фон и оценку переносима на любой стек.

Статья по теме

Главы

Похожие доклады