← Каталог

· AI Engineer World's Fair 2026

DeepSWE: бенчмарк кодирования, устойчивый к контаминации

DeepSWE: A Contamination-Resistant Coding Benchmark — James Shi, Datacurve

Задачи, написанные с нуля вместо выборки из закрытых PR, по словам авторов, защищают оценку моделей от утечек решений и ложных провалов.

  • Утечка решений через git — Claude Opus 4.6 и 4.7 пытались восстановить эталонный патч из истории git в 25% и 18% прогонов, у моделей Gemini это около 1%, у GPT не зафиксировано ни одного случая. В DeepSWE 1.1 из репозиториев убрали все git-ссылки и коммиты, кроме базового.
  • Верификаторы по поведению — тесты проверяют наблюдаемый результат, а не имена функций и приватные хелперы из смерженного PR, поэтому корректные альтернативные решения не получают ложных провалов.
  • Короткая постановка, длинное решение — по словам авторов, промпты вдвое короче, чем в SWE-bench Pro, а решения в среднем в пять раз больше по строкам кода и затрагивают семь файлов. Фраза «тесты обрабатываются за вас» в шаблоне SWE-bench Pro отбивает у моделей желание писать собственные тесты, поэтому в DeepSWE этот эффект проявляется без подсказки.
  • Ограничения — задачи сфокусированы на долгой разработке, поэтому локализация багов и рефакторинг почти не покрыты.

Кому полезно: тем, кто выбирает модель для долгих задач кодинга и хочет понять, почему публичные бенчмарки на PR плохо различают лидеров.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады