← Каталог

· AI Engineer World's Fair 2026

Computer Use на краю статистической пропасти

Computer Use at the Edge of the Statistical Precipice

Детерминированные бенчмарки для computer use агентов обыгрываются слепыми replay-скриптами, а обычные 95% доверительные интервалы, по словам автора, покрывают истинный результат лишь в 17–20% случаев.

  • Replay-скрипт вместо агента — записанные успешные траектории фронтирной модели, склеенные в скрипт меньше мегабайта, по словам спикера дают на OSWorld и MobileWorld результат не хуже самой модели. Причина в детерминированности среды, поэтому статичные бенчмарки легко подогнать.
  • pass@k на детерминированной среде — по словам спикера, формально доказано, что на такой среде эта метрика совпадает с успехом replay-агента, и она не отличает настоящие способности от подгонки.
  • Генерация вариаций как компилятор — DigiWorld состоит из 15 Android-приложений, 387 сценариев и 3,2 млн проверенных конфигураций. Параметризованный шаблон задачи, верификатор и мок-данные собираются в конфигурацию, а невалидные комбинации отбрасываются.
  • Доверительные интервалы по структуре бенчмарка — расчёт только по прогонам занижает неопределённость, а иерархический учёт вложенной структуры, по словам автора, даёт покрытие около 95%.

Кому полезно: тем, кто строит evals для computer use агентов или выбирает модель по результатам бенчмарка.

Статья по теме

Главы

Похожие доклады