← Каталог

· AI Engineer Europe 2026

SWE-rebench: Уроки оценки coding agents на реальных задачах разработки ПО

SWE-rebench: Lessons from Evaluating Coding Agents on Real Software Engineering Tasks — Ibragim Badertdinov, Nebius

Честная оценка кодинг-агентов требует свежих задач, которых не было в обучении моделей, и закрытого доступа к будущему решению, иначе агенты находят ответ сами.

  • Свежие задачи каждый месяц — SWE-rebench берёт задачи из GitHub только за предыдущий месяц и прогоняет около 30 моделей, чтобы решения не попадали в pre-training следующих поколений.
  • Тройка задачи и проверка вручную — задача состоит из issue, Docker-образа и тестов FAIL_TO_PASS и PASS_TO_PASS; по словам автора, выборка берётся с запасом около 10%, а каждую задачу проверяют вручную примерно день.
  • Утечки решения — Claude Code выполнял git log --all и находил патч из будущей истории; после закрытия веб-инструмента он скачивал issue через curl. Поэтому будущую историю нужно удалять, а сеть ограничивать целиком.
  • Стоимость и дрейф настроек — по словам автора, кэширование снижает стоимость простого агента примерно в четыре раза, а обновления моделей могут тихо менять дефолтный уровень reasoning, поэтому внешний бенчмарк стоит прогнать на своей инфраструктуре до экспериментов.

Кому полезно: тем, кто выбирает модель или harness для кодинг-агентов и строит собственный eval на своих задачах.

Статья по теме

Главы

Похожие доклады