· AI Engineer World's Fair 2026
От нуля до лидерборда: evals для agents
From Zero to Leaderboard: Agent Evaluation — Wolfram Ravenwolf, Weights & Biases
Результат бенчмарка — это измерение всей конфигурации, поэтому по одному среднему баллу модели сравнивать нельзя.
- Пять метрик вместо одного балла — пять прогонов одной конфигурации дают Average, Best-of, Worst-of, Ceiling и Solid; разрыв между Worst-of и Best-of показывает, насколько результат случаен.
- Токены важнее цены — по данным спикера, Gemini 3.5 Flash почти догнал GPT 5.5, но потратил 1,65 млрд токенов против 136 млн и стоил дороже: 620 долларов против 497.
- Больше reasoning не всегда лучше — по наблюдениям спикера, при часовом лимите на задачу Opus 4.6 с максимальным reasoning показал худший результат: модель слишком долго думала вместо быстрых проб.
- Инфраструктура отдельно от модели — сбои песочниц, инференса и таймауты спикер отделяет от ошибок агента, проверяя логи и трейсы в Weave до того, как объяснять неожиданный балл.
Кому полезно: тем, кто выбирает модель для агентов и хочет проверять публичные лидерборды на воспроизводимость.
Доклад цитируется в статьях
На какие вопросы отвечает доклад
Почему один запуск бенчмарка агента ничего не доказывает и какие метрики смотреть?
Конфигурацию нужно запускать несколько раз (спикер делает пять) и смотреть Average, Best-of, Worst-of, Ceiling и Solid. Ceiling показывает задачи, решённые хотя бы раз, а Solid задачи, решённые в каждом запуске.
▶ 3:32Подход к evals и метрики повторных запусковПочему модель с низкой ценой за токен может обойтись дороже дорогой?
Gemini 3.5 Flash почти догнала GPT 5.5 по баллу, но потратила примерно в 12 раз больше токенов (1,65 млрд против 136 млн). В итоге по стоимости она вышла дороже: 620 долларов против 497.
▶ 41:21Использование токенов, общая стоимость и компромиссы harnessПочему повышение reasoning effort ухудшает результаты агента при фиксированном дедлайне?
При максимальном thinking балл Opus 4.6 упал: модель тратила минуты на раздумья там, где агент без размышлений быстро пробовал команды и исправлял ошибки методом проб и ошибок. Причину видно в трейсах.
▶ 45:24Уровень reasoning и время выполненияКак отличить сбой инфраструктуры от ошибки агента в бенчмарке?
После каждого запуска стоит просмотреть ошибки: повторяющиеся символы или токены шаблона промпта в ответе указывают на проблему токенизатора или inference-сервера. Сбои инфраструктуры нужно повторять, а падения, которые агент вызвал сам, оставлять в счёте.
▶ 49:20Разбор сбоев, воспроизводимость и завершениеКакой таймаут на задачу выбрать, чтобы агент не ходил по кругу и не съедал бюджет?
Два часа на задачу давали открытым моделям запас времени, но модели часто ходили по кругу и тратили много времени и денег. Спикер остановился на одном часе как на разумном компромиссе.
▶ 21:33Таймауты, параллелизм, повторы и сэмплированиеКак воспроизводимо сравнивать агентов, если фреймворк для бенчмарков и харнесс постоянно обновляются?
Зафиксировать версию Harbor и записывать всю конфигурацию: версию бенчмарка, харнесс, песочницы, провайдера, сэмплинг и таймауты. Любое изменение, по словам спикера, делает результат уже новым бенчмарком.
▶ 10:50Выбор бенчмарка и зафиксированные версии runner
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Хватит гадать с настройками vLLM: бенчмаркинг LLM на Runpod
Близко по содержанию
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
Близко по содержанию
От трассировок agents к симуляциям agents
AI Engineer World's Fair 2026
Близко по содержанию

