← Статьи

Почему много pull request после внедрения AI не означает рост эффективности?

Число пул-реквестов отражает суету, а не реальную пользу. В исследовании группы из Стэнфорда разработчики с ИИ создали на 14% больше PR, но количество переделок подскочило в 2,5 раза, а качество кода упало на 9%. Полезный выпуск остался на месте: считать нужно доведенные до продакшена задачи.

Опубликовано · по материалам 2 докладов

Почему много pull request после внедрения AI не означает рост эффективности?

Что показал стэнфордский замер

Yegor Denisov-Blanch из Стэнфорда разбирает опыт крупной IT-компании. Инженерному департаменту из 350 человек оплатили ИИ-ассистентов, после чего ученые сопоставили метрики за четыре месяца до и четыре месяца после старта:

  • число открытых pull request выросло на 14%;
  • поддерживаемость кода снизилась на 9% и стала заметно более неоднородной;
  • число переделок свежего кода подскочило в 2,5 раза;
  • объем полезных фич в релизах остался на прежнем уровне.

Denisov-Blanch подчеркивает: реальная окупаемость такого проекта оказалась отрицательной. Если бы руководство смотрело только на графики открытых PR, компания отчиталась бы о росте продуктивности на 14% и радостно оплатила счета за подписки.

▶ 13:10Как измерить ROI от ИИ в разработке ПО (исследование Stanford / 120 тыс. разработчиков), смотреть с 13:10

«Нельзя измерять pull request, чтобы понять, помогает ли вам ИИ.»

You cannot measure pull requests to understand whether AI is helping you.

Yegor Denisov-Blanch · AI Engineer Code 2025 · смотреть с 13:10
▶ 14:48Как измерить ROI от ИИ в разработке ПО (исследование Stanford / 120 тыс. разработчиков), смотреть с 14:48

«Число PR выросло на четырнадцать процентов, но это ничего не доказывает: больше PR - не значит лучше.»

PRs went up by fourteen percent, but this is inconclusive because more PRs doesn't mean better.

Yegor Denisov-Blanch · AI Engineer Code 2025 · смотреть с 14:48
▶ 14:34Как измерить ROI от ИИ в разработке ПО (исследование Stanford / 120 тыс. разработчиков), смотреть с 14:34

«Переделок стало в два с половиной раза больше, и это очень плохо.»

Rework went up by two point five times, which is really bad.

Yegor Denisov-Blanch · AI Engineer Code 2025 · смотреть с 14:34

Почему метрика PR создает иллюзию работы

Николай Шейко описывает аналогичные грабли в европейской аутсорс-разработке. Менеджмент радовался росту числа пулл-реквестов, пока аналитики не подсчитали задачи, возвращенные клиентами на доработку. Чистый прирост эффективности составил около одного процента.

Проблема в том, что поверхностные счетчики обманывают:

Активность легко симулировать. Объемы строк, коммитов и пул-реквестов растут от банального дробления изменений. Инженеру с моделью ничего не стоит генерировать по десять тикетов в день на косметические правки.

Сам по себе PR не равен поставке ценности. В разобранном кейсе вал изменений мгновенно захлебнулся на ревью. Проверяющие инженеры тонули в очередях чужого кода, выгорали и пропускали критические дефекты.

На какие метрики смотреть

Шейко рекомендует единственный критерий - темп закрытия готовых задач за спринт. При этом задача считается сданной только тогда, когда она принята без возвратов. Если тикет отфутболили назад на доработку, счетчик не увеличивается. Дополнительно командам стоит отслеживать среднее время жизни задачи и долю переделок.

Стэнфордская группа предлагает сбалансированную связку из целевой метрики и сдерживающих барьеров. Основным показателем служит реальный инженерный выпуск, откалиброванный экспертами. А барьерами выступают уровень техдолга, процент правок в свежем коде и метрики выгорания команды. Барьеры не нужно максимизировать: достаточно следить, чтобы рост выпуска не происходил за счет разрушения кодовой базы.

Оба подхода сходятся в ключевом принципе: продуктивность измеряют только после вычета исправлений за агентами.

▶ 19:24Грабли во внедрении ИИ в SDLC – почему ИИ есть, а результата нет и как это лечить, смотреть с 19:24

«Поэтому я предлагаю одну метрику, самую важную: количество выполненных задач на единицу времени.»

Николай Шейко · Agentic Dev Conf 2026 · смотреть с 19:24
▶ 19:37Грабли во внедрении ИИ в SDLC – почему ИИ есть, а результата нет и как это лечить, смотреть с 19:37

«Если задача вернулась на доработку, то это вся та же самая задача. Не нужно считать её за вторую задачу.»

Николай Шейко · Agentic Dev Conf 2026 · смотреть с 19:37
▶ 20:08Грабли во внедрении ИИ в SDLC – почему ИИ есть, а результата нет и как это лечить, смотреть с 20:08

«Пиаров действительно много. Но в реальности всё ещё сильно тормозится об ревью.»

Николай Шейко · Agentic Dev Conf 2026 · смотреть с 20:08

Означает ли это провал инструментов

Вовсе нет. В том же материале Denisov-Blanch приводит данные по 46 командам с ИИ против 46 контрольных групп без моделей. Медианный прирост производительности составил около 10%, при этом сильные команды оторвались от отстающих еще сильнее. Проблема первого кейса - в слепом внедрении без контроля качества.

Вывод простой: выбрасывать инструменты не надо, но метрики внедрения требуют строгой ревизии. Оценить реальный эффект можно задним числом прямо по истории Git. И число созданных PR в списке объективных показателей точно не числится.