← Каталог

· AI Engineer World's Fair 2025

Как улучшить vibe coding

How to Improve your Vibe Coding — Ian Butler

Coding агенты, по словам авторов, пропускают реальные баги и засыпают разработчика ложными срабатываниями, а шум снижают точные правила и контроль контекста.

  • Ложные срабатывания — по данным бенчмарка SM-100, три из шести агентов давали не более 10% верных находок из более чем 900 отчётов; один агент выдал 70 замечаний на одну задачу, и все оказались ложными.
  • Конкретные классы багов в правилах — вместо общего запроса «найди баги» стоит называть конкретные уязвимости (SQL injection, обход авторизации, prototype pollution) и добавлять OWASP Top Ten; по словам спикера, без такой информации качество заметно ниже.
  • Reasoning модели — они заметно лучше находят глубокие многошаговые баги, но результаты от запуска к запуску всё равно различаются, поэтому одного прогона мало.
  • Контроль контекста — при компактации способность находить баги падает, поэтому спикер советует передавать агенту диффы, не давать вытеснять важные файлы и просить пошаговую инвентаризацию классов и вызовов в коде.

Кому полезно: тем, кто работает с coding агентами в IDE и хочет настроить их на поиск багов; доклад во многом про собственный бенчмарк и продукт Bismuth.

Статья по теме

На какие вопросы отвечает доклад

  • Почему агенты для кодинга пропускают реальные баги и при этом выдают много ложных срабатываний?

    По бенчмарку SM-100 у трёх из шести агентов доля верных находок не выше 10% из более девятисот отчётов. Один агент выдал 70 issues на одну задачу, и все оказались ложными.

    ▶ 0:42Ложные срабатывания, пропущенные баги и усталость от предупреждений
  • Как уменьшить количество ложных срабатываний агента при поиске багов в коде?

    Использовать rules-файлы с узкими инструкциями, в которых названы конкретные классы багов, например SQL injection или auth bypass, и добавить OWASP Top Ten. Расплывчатая просьба найти баги даёт шум.

    ▶ 1:59Модели reasoning и запросы по рекомендациям OWASP для безопасности
  • Почему агент теряет связи между уже прочитанными файлами во время долгой сессии?

    Когда контекст сжимается или файлы суммаризуются, способность находить баги заметно падает. Спикер советует передавать агенту diff-ы, не выносить нужные файлы из контекста и просить пошаговую инвентаризацию классов и переменных.

    ▶ 4:07Проверка исправлений и управление контекстом агента
  • Стоит ли брать reasoning модели для поиска багов в коде вместо обычных?

    По словам авторов бенчмарка, thinking модели заметно лучше находят более глубокие баги, которые вложены в многошаговые процессы кодовой базы. Ограничение остаётся: набор найденного меняется от запуска к запуску.

    ▶ 1:59Модели reasoning и запросы по рекомендациям OWASP для безопасности
  • Как убедиться, что агент действительно исправил баг, а не только заявил об этом?

    Требовать от агента написать тесты и добиться их прохождения до того, как изменения попадут в кодовую базу. Спикер подчёркивает, что нужно проверять, что баги действительно исправлены.

    ▶ 1:59Модели reasoning и запросы по рекомендациям OWASP для безопасности
  • Почему агент находит разные баги в одном и том же файле при повторных запусках?

    Общее число найденных багов в запусках остаётся примерно одинаковым, но сами баги меняются. По мнению спикера, агенты не смотрят на файл целиком, поэтому для полной картины их приходится запускать много раз.

    ▶ 4:07Проверка исправлений и управление контекстом агента

Главы

Ещё доклады: Ian Butler

Страница спикера →

Похожие доклады