← Каталог

· Agentic Dev Conf 2026

Грабли во внедрении ИИ в SDLC – почему ИИ есть, а результата нет и как это лечить

Грабли во внедрении ИИ в SDLC – почему ИИ есть, а результата нет и как это лечить Николай Шейко

Отдача от ИИ в разработке буксует из-за процесса: узкое место на ревью, неверные метрики, отсутствие feedback loop и знаний команды в настройке агента.

  • Метрика вместо активности — считайте выполненные задачи в единицу времени, а задачу, вернувшуюся на доработку, не засчитывайте второй. По словам спикера, в одном проекте число PR выросло, но с учётом доработок эффективность прибавила около 1%.
  • Аудит сессий агента — команда выгружает сессии за неделю-две и разбирает два типа проблем: ошибки человека и ошибки агента, которым не хватает инструкций или инструментов. Исправляет их сама команда.
  • Знания через обучение агента — проведите агента по сложным местам, попросите записать инструкцию, а затем проверьте её, запустив субагента без контекста на той же задаче.
  • Ревью вместе с агентом — ручное ревью при росте объёма PR выгорает. Спикер предлагает использовать модель как помощника, который ищет проблемы и проверяет гипотезы, но не как замену ревьюера.

Кому полезно: тем, кто внедряет coding агентов в команде и видит рост числа PR без роста результата.

Доклад цитируется в статьях

На какие вопросы отвечает доклад

  • Почему агент с первого раза не решает задачу и как дать ему проверить результат?

    Агенту нужна обратная связь: доступ к браузеру, чтобы сравнивать старый и новый фронтенд, находить расхождения и исправлять их итерациями. Без такого цикла агент за один проход редко делает всё правильно.

    ▶ 8:30Миграция фронтенда и feedback loop
  • Какие метрики использовать для оценки AI в разработке вместо числа PR и коммитов?

    Предлагается считать количество выполненных задач в единицу времени, а задачу, вернувшуюся на доработку, не засчитывать как новую. Дополнительно смотрят время жизни задачи и число доработок по задаче и по исполнителю.

    ▶ 18:07Метрики и возвраты на доработку
  • Как справиться с очередью ревью, когда агенты создают много pull request?

    Ручное ревью перегружает людей, и качество падает. По словам спикера, ревью стоит делать вместе с агентом: задавать модели наводящие вопросы, чтобы она искала проблемы и проверяла гипотезы, но полностью ревью агенту пока не доверяют.

    ▶ 20:03Узкое место на ревью
  • Почему агент в большой кодовой базе постоянно уходит в compaction и теряет контекст?

    Код без локальности заставляет собирать контекст из множества модулей. Помогают модульная структура с понятными интерфейсами и AST-Search вместо grep, который выдаёт огромные списки совпадений.

    ▶ 21:36Контекст и структура кодовой базы
  • Как передать агенту неявные знания команды, которых нет в коде?

    Интерактивный опросник команды переносит неявные правила и практики в инструкции агента, потому что по коду он угадает лишь часть. Настраивать инструменты должна сама команда, иначе они остаются магическим артефактом.

    ▶ 12:03Инструменты и знания команды
  • Как находить повторяющиеся ошибки команды при работе с агентом?

    Скриптом выгружали сессии сотрудников за один-два дня и отсматривали их, отделяя ошибки человека от ошибок агента, которому не хватало инструментов или инструкций. Исправляла их сама команда, а не автор настроек.

    ▶ 17:03Разбор сессий и обучение команды
  • Как понять, что написанный skill для агента работает?

    Сохранить skill и запустить субагента без контекста, дав ему решить задачу с нуля по этому skill. Если результат неверный, искать, чего не хватает в skill, и дорабатывать его.

    ▶ 34:08Вопросы и ответы

Главы

Ещё доклады: Николай Шейко

Страница спикера →

Похожие доклады