Грабли во внедрении ИИ в SDLC – почему ИИ есть, а результата нет и как это лечить
Грабли во внедрении ИИ в SDLC – почему ИИ есть, а результата нет и как это лечить Николай Шейко
Отдача от ИИ в разработке буксует из-за процесса: узкое место на ревью, неверные метрики, отсутствие feedback loop и знаний команды в настройке агента.
- Метрика вместо активности — считайте выполненные задачи в единицу времени, а задачу, вернувшуюся на доработку, не засчитывайте второй. По словам спикера, в одном проекте число PR выросло, но с учётом доработок эффективность прибавила около 1%.
- Аудит сессий агента — команда выгружает сессии за неделю-две и разбирает два типа проблем: ошибки человека и ошибки агента, которым не хватает инструкций или инструментов. Исправляет их сама команда.
- Знания через обучение агента — проведите агента по сложным местам, попросите записать инструкцию, а затем проверьте её, запустив субагента без контекста на той же задаче.
- Ревью вместе с агентом — ручное ревью при росте объёма PR выгорает. Спикер предлагает использовать модель как помощника, который ищет проблемы и проверяет гипотезы, но не как замену ревьюера.
Кому полезно: тем, кто внедряет coding агентов в команде и видит рост числа PR без роста результата.
Доклад цитируется в статьях
На какие вопросы отвечает доклад
Почему агент с первого раза не решает задачу и как дать ему проверить результат?
Агенту нужна обратная связь: доступ к браузеру, чтобы сравнивать старый и новый фронтенд, находить расхождения и исправлять их итерациями. Без такого цикла агент за один проход редко делает всё правильно.
▶ 8:30Миграция фронтенда и feedback loopКакие метрики использовать для оценки AI в разработке вместо числа PR и коммитов?
Предлагается считать количество выполненных задач в единицу времени, а задачу, вернувшуюся на доработку, не засчитывать как новую. Дополнительно смотрят время жизни задачи и число доработок по задаче и по исполнителю.
▶ 18:07Метрики и возвраты на доработкуКак справиться с очередью ревью, когда агенты создают много pull request?
Ручное ревью перегружает людей, и качество падает. По словам спикера, ревью стоит делать вместе с агентом: задавать модели наводящие вопросы, чтобы она искала проблемы и проверяла гипотезы, но полностью ревью агенту пока не доверяют.
▶ 20:03Узкое место на ревьюПочему агент в большой кодовой базе постоянно уходит в compaction и теряет контекст?
Код без локальности заставляет собирать контекст из множества модулей. Помогают модульная структура с понятными интерфейсами и AST-Search вместо grep, который выдаёт огромные списки совпадений.
▶ 21:36Контекст и структура кодовой базыКак передать агенту неявные знания команды, которых нет в коде?
Интерактивный опросник команды переносит неявные правила и практики в инструкции агента, потому что по коду он угадает лишь часть. Настраивать инструменты должна сама команда, иначе они остаются магическим артефактом.
▶ 12:03Инструменты и знания командыКак находить повторяющиеся ошибки команды при работе с агентом?
Скриптом выгружали сессии сотрудников за один-два дня и отсматривали их, отделяя ошибки человека от ошибок агента, которому не хватало инструментов или инструкций. Исправляла их сама команда, а не автор настроек.
▶ 17:03Разбор сессий и обучение командыКак понять, что написанный skill для агента работает?
Сохранить skill и запустить субагента без контекста, дав ему решить задачу с нуля по этому skill. Если результат неверный, искать, чего не хватает в skill, и дорабатывать его.
▶ 34:08Вопросы и ответы
Главы
Ещё доклады: Николай Шейко
Страница спикера →Похожие доклады
Развивайте продукты, а не ИИ-проекты в стороне
AI Engineer World's Fair 2025
Близко по содержанию
ИИ пишет код быстрее, чем команда успевает его ревьюить
Близко по содержанию
Как подготовить проект и окружение к агентной разработке
Agentic Dev Conf 2026
Близко по содержанию
Почему большинство корпоративных проектов с agentic AI обречены
Jack Wang, Jess Grogan-Avignon
AI Engineer Europe 2026
Близко по содержанию
