Искусство и наука бенчмаркинга для agents
The Art & Science of Benchmarking Agents
Полезный бенчмарк для агентов задаёт направление развития, если его задачи проверены экспертами, а покрытие и запас сложности продуманы заранее.
- Многоэтапная проверка задач — GPQA добавил контроль качества с участием автора, рецензентов и арбитров, а выплаты авторам зависели от согласия экспертов. Так задача проверяется не одним мнением.
- Запас для роста — при запуске ARC-AGI-3 фронтир-модели набрали меньше 1%, хотя, по словам спикера, каждая задача решаема человеком. Бенчмарк, который уже решён, не показывает слабые места моделей.
- Политики в оценке — в τ-bench модель, которая забронировала рейс, но нарушила правила тарифного класса, всё равно считается проваленной. Точность без проверки ограничений недостаточна.
- Удобство для исследователей — Terminal-Bench 2.0 вышел вместе с Harbor, который, по мнению спикера, стал де-факто инфраструктурой оценки агентов. Простой запуск моделей и добавление задач определяют, примет ли сообщество бенчмарк.
Кому полезно: тем, кто строит собственные evals для агентов и хочет понять, по каким критериям выбирать или проектировать бенчмарк.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
От трассировок agents к симуляциям agents
AI Engineer World's Fair 2026
Близко по содержанию

