← Каталог

· AI Engineer World's Fair 2025

Агенты сообщили о тысячах багов — сколько из них были настоящими?

Agents reported thousands of bugs, how many were real? - Ian Butler and Nick Gregory

Агенты для поиска багов в поддерживаемом коде дают в основном шум: по данным авторов, базовый агентный цикл дал 97% ложных срабатываний на бенчмарке SM-100.

  • Бенчмарк SM-100 — 100 уже исправленных багов из более чем 84 публичных репозиториев на Python, TypeScript, JavaScript и Go. Агенту дают подсистему, где лежит баг, но не описание самого бага.
  • Шум в отчётах — базовый цикл с shell и инструментом правки нашёл 5–6 багов, но почти все его отчёты оказались ложными. По словам авторов, качество зависит от связки модели, промптов, навигации по коду и подачи контекста.
  • Сравнение агентов — по словам авторов, Bismuth нашёл 10 из 100 багов против 7 у следующего лидера. Доля истинных срабатываний: Codex 45%, Bismuth 25%, Claude Code 16%, у Devin, Cursor Agent и Cosine 3–10% при сотнях и тысячах отчётов.
  • Узкое мышление — от запуска к запуску агент находит разные баги в одном файле, то есть не инвентаризирует файл целиком. Авторы считают нужными целевой поиск, понимание программы и рассуждения между файлами.

Кому полезно: тем, кто выбирает агента для code review или сопровождения legacy-кода и хочет оценивать его на реальных багах, а не только на SWE-bench.

Статья по теме

Главы

Ещё доклады: Ian Butler

Страница спикера →

Похожие доклады