· AI Engineer World's Fair 2025
Как улучшить vibe coding
How to Improve your Vibe Coding — Ian Butler
Coding агенты, по словам авторов, пропускают реальные баги и засыпают разработчика ложными срабатываниями, а шум снижают точные правила и контроль контекста.
- Ложные срабатывания — по данным бенчмарка SM-100, три из шести агентов давали не более 10% верных находок из более чем 900 отчётов; один агент выдал 70 замечаний на одну задачу, и все оказались ложными.
- Конкретные классы багов в правилах — вместо общего запроса «найди баги» стоит называть конкретные уязвимости (SQL injection, обход авторизации, prototype pollution) и добавлять OWASP Top Ten; по словам спикера, без такой информации качество заметно ниже.
- Reasoning модели — они заметно лучше находят глубокие многошаговые баги, но результаты от запуска к запуску всё равно различаются, поэтому одного прогона мало.
- Контроль контекста — при компактации способность находить баги падает, поэтому спикер советует передавать агенту диффы, не давать вытеснять важные файлы и просить пошаговую инвентаризацию классов и вызовов в коде.
Кому полезно: тем, кто работает с coding агентами в IDE и хочет настроить их на поиск багов; доклад во многом про собственный бенчмарк и продукт Bismuth.
Статья по теме
На какие вопросы отвечает доклад
Почему агенты для кодинга пропускают реальные баги и при этом выдают много ложных срабатываний?
По бенчмарку SM-100 у трёх из шести агентов доля верных находок не выше 10% из более девятисот отчётов. Один агент выдал 70 issues на одну задачу, и все оказались ложными.
▶ 0:42Ложные срабатывания, пропущенные баги и усталость от предупрежденийКак уменьшить количество ложных срабатываний агента при поиске багов в коде?
Использовать rules-файлы с узкими инструкциями, в которых названы конкретные классы багов, например SQL injection или auth bypass, и добавить OWASP Top Ten. Расплывчатая просьба найти баги даёт шум.
▶ 1:59Модели reasoning и запросы по рекомендациям OWASP для безопасностиПочему агент теряет связи между уже прочитанными файлами во время долгой сессии?
Когда контекст сжимается или файлы суммаризуются, способность находить баги заметно падает. Спикер советует передавать агенту diff-ы, не выносить нужные файлы из контекста и просить пошаговую инвентаризацию классов и переменных.
▶ 4:07Проверка исправлений и управление контекстом агентаСтоит ли брать reasoning модели для поиска багов в коде вместо обычных?
По словам авторов бенчмарка, thinking модели заметно лучше находят более глубокие баги, которые вложены в многошаговые процессы кодовой базы. Ограничение остаётся: набор найденного меняется от запуска к запуску.
▶ 1:59Модели reasoning и запросы по рекомендациям OWASP для безопасностиКак убедиться, что агент действительно исправил баг, а не только заявил об этом?
Требовать от агента написать тесты и добиться их прохождения до того, как изменения попадут в кодовую базу. Спикер подчёркивает, что нужно проверять, что баги действительно исправлены.
▶ 1:59Модели reasoning и запросы по рекомендациям OWASP для безопасностиПочему агент находит разные баги в одном и том же файле при повторных запусках?
Общее число найденных багов в запусках остаётся примерно одинаковым, но сами баги меняются. По мнению спикера, агенты не смотрят на файл целиком, поэтому для полной картины их приходится запускать много раз.
▶ 4:07Проверка исправлений и управление контекстом агента
Главы
Ещё доклады: Ian Butler
Страница спикера →Агенты сообщили о тысячах багов — сколько из них были настоящими?
AI Engineer World's Fair 2025
Похожие доклады
Уверенный vibe coding
AI Engineer World's Fair 2025
Близко по содержанию
Хватит промптить
AI Engineer World's Fair 2026
Близко по содержанию
Как создать AI-агента для code review
Близко по содержанию

