· AI Engineer World's Fair 2026
Когда закончится эпидемия бенчмаксинга?
When Will The Benchmaxxing Plague End?
Бенчмарки расходятся с реальной полезностью, потому что верификаторы неполны и их можно обойти, а полное двустороннее соответствие промптов и проверок с экспертными данными это исправляет.
- Верификаторы под атакой — проверка по строковому совпадению ставит по 20% одной модели, которая ошибается, и другой, которая в 80% случаев права, но выбирает иной формат телефонного номера. Такой бенчмарк не отличает модели друг от друга.
- Контаминация по умолчанию — Opus дословно воспроизводит части SWE-bench Verified, включая ответы, а по словам спикера, в карточке новой модели это не раскрыто.
- Проверки IFEval — в наборе есть взаимоисключающие инструкции, а проверка буквы I пропускает ответы с кириллической I вместо латинской.
- Оценка писателями — для Hemingway Bench спикер привлёк тысячи профессиональных писателей и редакторов к слепым попарным сравнениям вместо LLM-as-a-judge, потому что, по его словам, LLM не различают хороший вкус в письме. Это дорого, но цель, по его словам, качество, а не стоимость.
Кому полезно: тем, кто строит свой бенчмарк для агентов или сравнивает модели по публичным таблицам.
Статья по теме
На какие вопросы отвечает доклад
Почему высокий балл на бенчмарке не означает пользы модели в реальных задачах?
Причины в стимулах и слабой методологии: модели оптимизируют под слабые места бенчмарка, а человеческая оценка при этом может оставаться на месте или падать. Бенчмарк нужно строить так, чтобы он отражал человеческие предпочтения.
▶ 0:00Почему результаты тестов расходятся с реальной полезностьюПочему модель может знать ответы на публичный бенчмарк вроде SWE-bench Verified?
Публичные вопросы и ответы почти неизбежно попадают в обучение. По словам спикера, Opus дословно воспроизводил начало промпта и ответы SWE-bench Verified, а лаборатории редко раскрывают такое загрязнение данных.
▶ 5:00Загрязнение SWE-bench и проектирование состязательной оценкиКак сделать верификаторы агентного бенчмарка устойчивыми к reward hacking?
По словам спикера, награды нужно проектировать как состязательный процесс против максимально ленивого агента, учитывая, что градиентный спуск ищет путь наименьшего сопротивления. Верификаторы должны быть устойчивы к такому обходу.
▶ 5:00Загрязнение SWE-bench и проектирование состязательной оценкиПочему строковые проверки в бенчмарке дают одинаковый балл разным моделям?
Верификатор принимает только один формат телефона, а промпт не говорит какой. Слабая модель ошибается, сильная выбирает другой допустимый формат, и обе получают 20%. Верификаторы должны покрывать все допустимые варианты.
▶ 5:00Загрязнение SWE-bench и проектирование состязательной оценкиПочему на IFEval модель получает полный балл, хотя часть инструкций невыполнима?
В IFEval есть противоречивые промпты, например одновременно повторить ответ дословно и перевести его на хинди, а часть проверок не проверяет задачу. Модель может получить полный балл, подставив кириллическую I вместо латинской.
▶ 7:48Сбои IFEval, reward hacking и контроль качества оценочных наборовПочему рейтинг LM Arena расходится с тем, что люди считают лучшими ответами?
Модель с бессмысленным ответом может оказаться на вершине рейтинга. По словам спикера, рейтинг можно накрутить: нанять толпу, которая голосует за нужную модель, а водяной знак в ответе подскажет, за кого голосовать.
▶ 7:48Сбои IFEval, reward hacking и контроль качества оценочных наборов
Главы
Похожие доклады
Разработка и оценка AI agents
AI Engineer Summit 2025
Близко по содержанию
Coding evals: от фрагментов кода до целых кодовых баз
AI Engineer Code 2025
Близко по содержанию
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию
Почему передовые модели не справляются с работой аналитиков на стороне инвесторов
Близко по содержанию

