← Каталог

· AI Engineer World's Fair 2026

От нуля до лидерборда: evals для agents

From Zero to Leaderboard: Agent Evaluation — Wolfram Ravenwolf, Weights & Biases

Результат бенчмарка — это измерение всей конфигурации, поэтому по одному среднему баллу модели сравнивать нельзя.

  • Пять метрик вместо одного балла — пять прогонов одной конфигурации дают Average, Best-of, Worst-of, Ceiling и Solid; разрыв между Worst-of и Best-of показывает, насколько результат случаен.
  • Токены важнее цены — по данным спикера, Gemini 3.5 Flash почти догнал GPT 5.5, но потратил 1,65 млрд токенов против 136 млн и стоил дороже: 620 долларов против 497.
  • Больше reasoning не всегда лучше — по наблюдениям спикера, при часовом лимите на задачу Opus 4.6 с максимальным reasoning показал худший результат: модель слишком долго думала вместо быстрых проб.
  • Инфраструктура отдельно от модели — сбои песочниц, инференса и таймауты спикер отделяет от ошибок агента, проверяя логи и трейсы в Weave до того, как объяснять неожиданный балл.

Кому полезно: тем, кто выбирает модель для агентов и хочет проверять публичные лидерборды на воспроизводимость.

Доклад цитируется в статьях

На какие вопросы отвечает доклад

  • Почему один запуск бенчмарка агента ничего не доказывает и какие метрики смотреть?

    Конфигурацию нужно запускать несколько раз (спикер делает пять) и смотреть Average, Best-of, Worst-of, Ceiling и Solid. Ceiling показывает задачи, решённые хотя бы раз, а Solid задачи, решённые в каждом запуске.

    ▶ 3:32Подход к evals и метрики повторных запусков
  • Почему модель с низкой ценой за токен может обойтись дороже дорогой?

    Gemini 3.5 Flash почти догнала GPT 5.5 по баллу, но потратила примерно в 12 раз больше токенов (1,65 млрд против 136 млн). В итоге по стоимости она вышла дороже: 620 долларов против 497.

    ▶ 41:21Использование токенов, общая стоимость и компромиссы harness
  • Почему повышение reasoning effort ухудшает результаты агента при фиксированном дедлайне?

    При максимальном thinking балл Opus 4.6 упал: модель тратила минуты на раздумья там, где агент без размышлений быстро пробовал команды и исправлял ошибки методом проб и ошибок. Причину видно в трейсах.

    ▶ 45:24Уровень reasoning и время выполнения
  • Как отличить сбой инфраструктуры от ошибки агента в бенчмарке?

    После каждого запуска стоит просмотреть ошибки: повторяющиеся символы или токены шаблона промпта в ответе указывают на проблему токенизатора или inference-сервера. Сбои инфраструктуры нужно повторять, а падения, которые агент вызвал сам, оставлять в счёте.

    ▶ 49:20Разбор сбоев, воспроизводимость и завершение
  • Какой таймаут на задачу выбрать, чтобы агент не ходил по кругу и не съедал бюджет?

    Два часа на задачу давали открытым моделям запас времени, но модели часто ходили по кругу и тратили много времени и денег. Спикер остановился на одном часе как на разумном компромиссе.

    ▶ 21:33Таймауты, параллелизм, повторы и сэмплирование
  • Как воспроизводимо сравнивать агентов, если фреймворк для бенчмарков и харнесс постоянно обновляются?

    Зафиксировать версию Harbor и записывать всю конфигурацию: версию бенчмарка, харнесс, песочницы, провайдера, сэмплинг и таймауты. Любое изменение, по словам спикера, делает результат уже новым бенчмарком.

    ▶ 10:50Выбор бенчмарка и зафиксированные версии runner

Главы

Похожие доклады