· AI Engineer World's Fair 2025
Агенты сообщили о тысячах багов — сколько из них были настоящими?
Agents reported thousands of bugs, how many were real? - Ian Butler and Nick Gregory
Агенты для поиска багов в поддерживаемом коде дают в основном шум: по данным авторов, базовый агентный цикл дал 97% ложных срабатываний на бенчмарке SM-100.
- Бенчмарк SM-100 — 100 уже исправленных багов из более чем 84 публичных репозиториев на Python, TypeScript, JavaScript и Go. Агенту дают подсистему, где лежит баг, но не описание самого бага.
- Шум в отчётах — базовый цикл с shell и инструментом правки нашёл 5–6 багов, но почти все его отчёты оказались ложными. По словам авторов, качество зависит от связки модели, промптов, навигации по коду и подачи контекста.
- Сравнение агентов — по словам авторов, Bismuth нашёл 10 из 100 багов против 7 у следующего лидера. Доля истинных срабатываний: Codex 45%, Bismuth 25%, Claude Code 16%, у Devin, Cursor Agent и Cosine 3–10% при сотнях и тысячах отчётов.
- Узкое мышление — от запуска к запуску агент находит разные баги в одном файле, то есть не инвентаризирует файл целиком. Авторы считают нужными целевой поиск, понимание программы и рассуждения между файлами.
Кому полезно: тем, кто выбирает агента для code review или сопровождения legacy-кода и хочет оценивать его на реальных багах, а не только на SWE-bench.
Статья по теме
Главы
Ещё доклады: Ian Butler
Страница спикера →Как улучшить vibe coding
AI Engineer World's Fair 2025
Похожие доклады
Software factory: от баг-репорта до кода в продакшене
AI Engineer World's Fair 2026
Близко по содержанию
Как создать AI-агента для code review
Близко по содержанию
Код, созданный ИИ, уже конкурирует с кодом людей
AI Engineer World's Fair 2026
Близко по содержанию


