· AI Engineer World's Fair 2026
Бенчмарки: хорошие, плохие и ужасные
Benchmarks: The Good, the Bad, and the Ugly
Бенчмарки для кодинговых агентов искажают оценку моделей: нереалистичные промпты и слабые верификаторы дают ложные результаты, поэтому задачи нужно писать и проверять людьми.
- Промпты, которых не пишут инженеры — в SWE-Bench Pro в среднем 481 слово на инструкцию. Часть промптов прямо указывает на тестовый файл или задаёт готовый интерфейс, то есть подсказывает решение.
- Верификаторы ошибаются в обе стороны — по данным DeepSWE, в SWE-Bench Pro около 8,5% задач принимали неверную реализацию, а больше 20% отвергали правильную, например из-за тестов на неэкспортируемые функции.
- Задачи с экономической ценностью — пример с сборкой C-компилятора на Rust показывает задачу, которую команда не поставит в работу. Спикер предлагает задачи, после решения которых инженер доверил бы модели такой же патч в своём проекте.
- Новые задачи вместо публичных репозиториев — задачи из открытых GitHub-репозиториев могут быть уже известны моделям, поэтому спикер предлагает писать новые задачи и держать приватные наборы для проверки.
Кому полезно: тем, кто выбирает модели для кодинга по бенчмаркам или строит собственные оценки агентов.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Насколько надёжны бенчмарки производительности LLM?
Ashok Chandrasekar, Jason Kramberger
AI Engineer World's Fair 2026
Близко по содержанию
Coding evals: от фрагментов кода до целых кодовых баз
AI Engineer Code 2025
Близко по содержанию
Почему тексты ИИ всё ещё выглядят как AI slop
Близко по содержанию

