· AI Engineer World's Fair 2026
Computer Use на краю статистической пропасти
Computer Use at the Edge of the Statistical Precipice
Детерминированные бенчмарки для computer use агентов обыгрываются слепыми replay-скриптами, а обычные 95% доверительные интервалы, по словам автора, покрывают истинный результат лишь в 17–20% случаев.
- Replay-скрипт вместо агента — записанные успешные траектории фронтирной модели, склеенные в скрипт меньше мегабайта, по словам спикера дают на OSWorld и MobileWorld результат не хуже самой модели. Причина в детерминированности среды, поэтому статичные бенчмарки легко подогнать.
- pass@k на детерминированной среде — по словам спикера, формально доказано, что на такой среде эта метрика совпадает с успехом replay-агента, и она не отличает настоящие способности от подгонки.
- Генерация вариаций как компилятор — DigiWorld состоит из 15 Android-приложений, 387 сценариев и 3,2 млн проверенных конфигураций. Параметризованный шаблон задачи, верификатор и мок-данные собираются в конфигурацию, а невалидные комбинации отбрасываются.
- Доверительные интервалы по структуре бенчмарка — расчёт только по прогонам занижает неопределённость, а иерархический учёт вложенной структуры, по словам автора, даёт покрытие около 95%.
Кому полезно: тем, кто строит evals для computer use агентов или выбирает модель по результатам бенчмарка.
Статья по теме
Главы
Похожие доклады
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Почему даже browser agents с точностью 99% дают сбой
AI Engineer Code 2025
Близко по содержанию
Computer-Use 2.0: agents теперь работают с несколькими курсорами
Dillon DuPont, Francesco Bonacci, Robert Wendt
AI Engineer World's Fair 2026
Близко по содержанию
Ваш LLM-as-a-judge — самоуверенный лжец: как создавать более надёжные верификаторы
Corby Rosset, Miguel González Fernández
Близко по содержанию

