Evals несовершенны — всё равно используйте их
Evals Are Broken, Use Them Anyway
Бенчмарки для агентов кодинга полезны только тогда, когда среда запуска стандартизована, а результаты используются для итеративной настройки собственного харнеса, а не принимаются как объективная истина.
- Цифры лабораторий как ориентир — по словам спикера, публикуемые моделями числа лишь приближение. По заявлению OpenAI, SWE-bench Verified уже не измеряет передовые возможности кодинга.
- Свои evals из реальных задач — команда Cline собрала набор задач из данных пользователей, которые согласились поделиться использованием продукта, и вручную очистила их.
- Стандартизованная среда — Terminal-Bench из 89 задач запускается параллельно в изолированных машинах с одинаковыми CPU и памятью через
Harborна Modal. По словам спикера, правки ресурсов, таймаутов и режима рассуждений подняли результат с 43%. - Три зоны улучшений — сначала исправляются очевидные баги харнеса, затем тонкие настройки промптов под семейство модели, а подгонка под тест названа опасной зоной.
Кому полезно: тем, кто выбирает агентов для кодинга или строит свой харнес и хочет проверять их не по публичным таблицам.
Статья по теме
Главы
Ещё доклады: Ara Khan
Страница спикера →Какие задачи переживут, когда ИИ научится писать код
AI Engineer Code 2026
Не создавайте AI-slop: 4 уровня зрелости AI agents
AI Engineer Europe 2026
Похожие доклады
Не выпускайте skills без evals
AI Engineer World's Fair 2026
Близко по содержанию
Почему передовые модели не справляются с работой аналитиков на стороне инвесторов
Близко по содержанию
Как улучшить vibe coding
AI Engineer World's Fair 2025
Близко по содержанию
Будущее evals
AI Engineer World's Fair 2025
Близко по содержанию

