← Каталог

· AI Engineer World's Fair 2026

Бенчмарки: хорошие, плохие и ужасные

Benchmarks: The Good, the Bad, and the Ugly

Бенчмарки для кодинговых агентов искажают оценку моделей: нереалистичные промпты и слабые верификаторы дают ложные результаты, поэтому задачи нужно писать и проверять людьми.

  • Промпты, которых не пишут инженеры — в SWE-Bench Pro в среднем 481 слово на инструкцию. Часть промптов прямо указывает на тестовый файл или задаёт готовый интерфейс, то есть подсказывает решение.
  • Верификаторы ошибаются в обе стороны — по данным DeepSWE, в SWE-Bench Pro около 8,5% задач принимали неверную реализацию, а больше 20% отвергали правильную, например из-за тестов на неэкспортируемые функции.
  • Задачи с экономической ценностью — пример с сборкой C-компилятора на Rust показывает задачу, которую команда не поставит в работу. Спикер предлагает задачи, после решения которых инженер доверил бы модели такой же патч в своём проекте.
  • Новые задачи вместо публичных репозиториев — задачи из открытых GitHub-репозиториев могут быть уже известны моделям, поэтому спикер предлагает писать новые задачи и держать приватные наборы для проверки.

Кому полезно: тем, кто выбирает модели для кодинга по бенчмаркам или строит собственные оценки агентов.

Статья по теме

Главы

Похожие доклады