← Каталог

· AI Engineer Europe 2026

Искусство и наука бенчмаркинга для agents

The Art & Science of Benchmarking Agents

Полезный бенчмарк для агентов задаёт направление развития, если его задачи проверены экспертами, а покрытие и запас сложности продуманы заранее.

  • Многоэтапная проверка задач — GPQA добавил контроль качества с участием автора, рецензентов и арбитров, а выплаты авторам зависели от согласия экспертов. Так задача проверяется не одним мнением.
  • Запас для роста — при запуске ARC-AGI-3 фронтир-модели набрали меньше 1%, хотя, по словам спикера, каждая задача решаема человеком. Бенчмарк, который уже решён, не показывает слабые места моделей.
  • Политики в оценке — в τ-bench модель, которая забронировала рейс, но нарушила правила тарифного класса, всё равно считается проваленной. Точность без проверки ограничений недостаточна.
  • Удобство для исследователей — Terminal-Bench 2.0 вышел вместе с Harbor, который, по мнению спикера, стал де-факто инфраструктурой оценки агентов. Простой запуск моделей и добавление задач определяют, примет ли сообщество бенчмарк.

Кому полезно: тем, кто строит собственные evals для агентов и хочет понять, по каким критериям выбирать или проектировать бенчмарк.

Статья по теме

Главы

Похожие доклады