← Каталог

· AI Engineer Europe 2026

Agentic-оценка в любом масштабе — для всех

Agentic Evaluations at Scale — For Everybody

Результаты агентных бенчмарков сильно зависят от harness и настроек, поэтому оценка агентов должна быть открытой, воспроизводимой и опираться на сообщество.

  • Harness меняет итог — по данным блога Morph LLM, который цитирует спикер (сам он это не проверял), на SWE-bench Pro шесть frontier-моделей отличаются на пару процентных пунктов, а разница между harness достигает 22%. Лаборатория, которая запустила чужой бенчмарк с compaction через свой API, получила заметно выше результаты.
  • Game Arena против насыщения — PVP-игры вроде покера, шахмат и Werewolf дают рейтинг Elo, который не насыщается, потому что в каждой партии есть победитель и проигравший. Для статистически значимых результатов по покеру понадобилось около 400 тысяч раздач, поэтому команда использует попарную модель Bradley-Terry, чтобы сокращать число партий.
  • Экзамены для агентов — Standardized Agent Exams запускаются вставкой однострочного промпта, и за первую неделю их прошли больше 500 агентов. Спикер видит спрос на быструю проверку агентов до их выпуска в реальный мир.
  • Бенчмарки от экспертов предметной области — инженер очистных сооружений из Турции построил датасет по своему 20-летнему опыту, которого нет в открытом вебе, и это пример того, какие задачи лаборатории сами не покрывают.

Кому полезно: тем, кто сравнивает агентов или модели по публичным бенчмаркам и хочет понимать, что на самом деле измеряется.

Статья по теме

На какие вопросы отвечает доклад

  • Почему результаты бенчмарка из технического отчёта модели не воспроизводятся у других?

    Конфигурации модели, harness и оркестрация часто не раскрываются. Когда конкурирующая лаборатория прогнала тот же бенчмарк с compaction из своего API, её результаты заметно выросли.

    ▶ 1:41Почему тесты для агентов фрагментированы и чувствительны к настройкам оценки
  • Почему один и тот же бенчмарк кодинга даёт разные результаты для одной модели?

    По цитируемому спикерами блогу, на SWE-bench Pro шесть frontier моделей отличаются на пару процентных пунктов, а выбор harness меняет результат примерно на 22%. Поэтому непонятно, что на самом деле тестируется: модель или обвязка.

    ▶ 12:12Game Arena, насыщение тестов и рейтинги моделей
  • Как быстро проверить агента перед выпуском, не настраивая собственный набор eval?

    Агенту передают однострочный промпт, он проходит стандартизированный экзамен и получает балл в таблице лидеров. За первую неделю MVP через него прошли более 500 агентов.

    ▶ 5:49Экзамены для агентов и доступные продукты для оценки
  • Как бенчмарк не насыщается, когда новые модели быстро набирают максимум?

    Модели играют друг с другом в PVP-играх, и рейтинг Elo не упирается в потолок, потому что всегда есть победитель и проигравший. Игры Game Arena включают покер, шахматы и Werewolf.

    ▶ 12:12Game Arena, насыщение тестов и рейтинги моделей
  • Сколько запусков нужно, чтобы статистически значимо сравнить LLM в покере?

    Для значимости понадобилось около 400 000 раздач, что делает прогоны дорогими. Попарная модель Брэдли-Терри помогает сократить число игр, которые нужно сыграть.

    ▶ 12:12Game Arena, насыщение тестов и рейтинги моделей
  • Как собрать бенчмарк под узкую предметную область, если готового датасета нет?

    Специалисты из предметной области сами создают бенчмарки. Один инженер очистных сооружений собрал закрытый датасет из своего двадцатилетнего опыта, чтобы проверять, как ИИ поможет в работе и предотвратит аварии.

    ▶ 3:54Расширение участия благодаря тестам сообщества с экспертами предметных областей

Главы

Похожие доклады