← Каталог

· AI Engineer Europe 2026

Evals несовершенны — всё равно используйте их

Evals Are Broken, Use Them Anyway

Бенчмарки для агентов кодинга полезны только тогда, когда среда запуска стандартизована, а результаты используются для итеративной настройки собственного харнеса, а не принимаются как объективная истина.

  • Цифры лабораторий как ориентир — по словам спикера, публикуемые моделями числа лишь приближение. По заявлению OpenAI, SWE-bench Verified уже не измеряет передовые возможности кодинга.
  • Свои evals из реальных задач — команда Cline собрала набор задач из данных пользователей, которые согласились поделиться использованием продукта, и вручную очистила их.
  • Стандартизованная среда — Terminal-Bench из 89 задач запускается параллельно в изолированных машинах с одинаковыми CPU и памятью через Harbor на Modal. По словам спикера, правки ресурсов, таймаутов и режима рассуждений подняли результат с 43%.
  • Три зоны улучшений — сначала исправляются очевидные баги харнеса, затем тонкие настройки промптов под семейство модели, а подгонка под тест названа опасной зоной.

Кому полезно: тем, кто выбирает агентов для кодинга или строит свой харнес и хочет проверять их не по публичным таблицам.

Статья по теме

Главы

Ещё доклады: Ara Khan

Страница спикера →

Похожие доклады