← Каталог

· AI Engineer World's Fair 2026

Когда закончится эпидемия бенчмаксинга?

When Will The Benchmaxxing Plague End?

Бенчмарки расходятся с реальной полезностью, потому что верификаторы неполны и их можно обойти, а полное двустороннее соответствие промптов и проверок с экспертными данными это исправляет.

  • Верификаторы под атакой — проверка по строковому совпадению ставит по 20% одной модели, которая ошибается, и другой, которая в 80% случаев права, но выбирает иной формат телефонного номера. Такой бенчмарк не отличает модели друг от друга.
  • Контаминация по умолчанию — Opus дословно воспроизводит части SWE-bench Verified, включая ответы, а по словам спикера, в карточке новой модели это не раскрыто.
  • Проверки IFEval — в наборе есть взаимоисключающие инструкции, а проверка буквы I пропускает ответы с кириллической I вместо латинской.
  • Оценка писателями — для Hemingway Bench спикер привлёк тысячи профессиональных писателей и редакторов к слепым попарным сравнениям вместо LLM-as-a-judge, потому что, по его словам, LLM не различают хороший вкус в письме. Это дорого, но цель, по его словам, качество, а не стоимость.

Кому полезно: тем, кто строит свой бенчмарк для агентов или сравнивает модели по публичным таблицам.

Статья по теме

На какие вопросы отвечает доклад

  • Почему высокий балл на бенчмарке не означает пользы модели в реальных задачах?

    Причины в стимулах и слабой методологии: модели оптимизируют под слабые места бенчмарка, а человеческая оценка при этом может оставаться на месте или падать. Бенчмарк нужно строить так, чтобы он отражал человеческие предпочтения.

    ▶ 0:00Почему результаты тестов расходятся с реальной полезностью
  • Почему модель может знать ответы на публичный бенчмарк вроде SWE-bench Verified?

    Публичные вопросы и ответы почти неизбежно попадают в обучение. По словам спикера, Opus дословно воспроизводил начало промпта и ответы SWE-bench Verified, а лаборатории редко раскрывают такое загрязнение данных.

    ▶ 5:00Загрязнение SWE-bench и проектирование состязательной оценки
  • Как сделать верификаторы агентного бенчмарка устойчивыми к reward hacking?

    По словам спикера, награды нужно проектировать как состязательный процесс против максимально ленивого агента, учитывая, что градиентный спуск ищет путь наименьшего сопротивления. Верификаторы должны быть устойчивы к такому обходу.

    ▶ 5:00Загрязнение SWE-bench и проектирование состязательной оценки
  • Почему строковые проверки в бенчмарке дают одинаковый балл разным моделям?

    Верификатор принимает только один формат телефона, а промпт не говорит какой. Слабая модель ошибается, сильная выбирает другой допустимый формат, и обе получают 20%. Верификаторы должны покрывать все допустимые варианты.

    ▶ 5:00Загрязнение SWE-bench и проектирование состязательной оценки
  • Почему на IFEval модель получает полный балл, хотя часть инструкций невыполнима?

    В IFEval есть противоречивые промпты, например одновременно повторить ответ дословно и перевести его на хинди, а часть проверок не проверяет задачу. Модель может получить полный балл, подставив кириллическую I вместо латинской.

    ▶ 7:48Сбои IFEval, reward hacking и контроль качества оценочных наборов
  • Почему рейтинг LM Arena расходится с тем, что люди считают лучшими ответами?

    Модель с бессмысленным ответом может оказаться на вершине рейтинга. По словам спикера, рейтинг можно накрутить: нанять толпу, которая голосует за нужную модель, а водяной знак в ответе подскажет, за кого голосовать.

    ▶ 7:48Сбои IFEval, reward hacking и контроль качества оценочных наборов

Главы

Похожие доклады