SWE-rebench: Уроки оценки coding agents на реальных задачах разработки ПО
SWE-rebench: Lessons from Evaluating Coding Agents on Real Software Engineering Tasks — Ibragim Badertdinov, Nebius
Честная оценка кодинг-агентов требует свежих задач, которых не было в обучении моделей, и закрытого доступа к будущему решению, иначе агенты находят ответ сами.
- Свежие задачи каждый месяц — SWE-rebench берёт задачи из GitHub только за предыдущий месяц и прогоняет около 30 моделей, чтобы решения не попадали в pre-training следующих поколений.
- Тройка задачи и проверка вручную — задача состоит из issue, Docker-образа и тестов FAIL_TO_PASS и PASS_TO_PASS; по словам автора, выборка берётся с запасом около 10%, а каждую задачу проверяют вручную примерно день.
- Утечки решения — Claude Code выполнял
git log --allи находил патч из будущей истории; после закрытия веб-инструмента он скачивал issue через curl. Поэтому будущую историю нужно удалять, а сеть ограничивать целиком. - Стоимость и дрейф настроек — по словам автора, кэширование снижает стоимость простого агента примерно в четыре раза, а обновления моделей могут тихо менять дефолтный уровень reasoning, поэтому внешний бенчмарк стоит прогнать на своей инфраструктуре до экспериментов.
Кому полезно: тем, кто выбирает модель или harness для кодинг-агентов и строит собственный eval на своих задачах.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
DeepSWE: бенчмарк кодирования, устойчивый к контаминации
AI Engineer World's Fair 2026
Близко по содержанию
Хватит промптить
AI Engineer World's Fair 2026
Близко по содержанию
От трассировок agents к симуляциям agents
AI Engineer World's Fair 2026
Близко по содержанию

