← Каталог

· AI Engineer World's Fair 2026

Автономный компьютер: инфраструктура для computer-use agents

The Autonomous Computer: Infrastructure for Computer Use Agents — Ang Li, Simular

Связка VLM-агента и сохранённого кода даёт повторяемость задач без LLM-вызовов на каждом прогоне, но, по словам автора, проблема надёжности пока не решена.

  • Метрика pass^k — успех нужен в каждом из k повторных запусков, а не хотя бы в одном, как в pass@k. По данным спикера, у лучших агентов OSWorld успешность при повторных прогонах падает почти на десять процентов, а при изменении окружения ещё сильнее.
  • Код как кэш шагов — успешный путь агента записывается скриптом на SimuLang и при повторе запускается первым; если интерфейс поменялся, включается цикл починки кодовым агентом. По словам автора, примерно половину работы второго прогона делает код без запросов к модели.
  • Проверка ввода — заполненную форму модель проверяет обратным запросом, и при расхождении задача повторяется. Автор говорит, что это заметно повышает точность ввода данных.
  • Подтверждение необратимых действий — правила проверяют действие первыми, затем агент, и только потом человек подтверждает необратимый шаг.

Кому полезно: тем, кто автоматизирует повторяющиеся операции в устаревших ERP-системах и десктопных приложениях без API.

Статья по теме

Главы

Похожие доклады