← Каталог

· AI Engineer Code 2025

Как измерить ROI от ИИ в разработке ПО (исследование Stanford / 120 тыс. разработчиков)

How to Quantify AI ROI in Software Engineering (Stanford Study / 120k Devs)

Числа PR и потраченных токенов не показывают пользу AI в разработке: по данным исследования, эффект зависит от чистоты кодовой базы и качества использования, и измерять его нужно по выходу инженерии.

  • Токены не равны пользе — корреляция расхода токенов с приростом производительности слабая, около 0,2; команды на отметке около 10 миллионов токенов на инженера в месяц работали хуже тех, кто тратил меньше.
  • Чистый код усиливает эффект — экспериментальный индекс чистоты кодовой базы (тесты, типы, документация, модульность, качество кода) объясняет около 40% разброса прироста; отклонённый AI-код и переписывание подрывают доверие к инструменту.
  • PR обманывают — в кейсе команды из 350 человек PR выросли на 14%, но, по словам авторов, качество кода упало на 9%, а rework вырос в 2,5 раза.
  • Оценка по истории Git — выход инженерии считает модель, обученная повторять панели из 10–15 экспертов, и её можно применить к прошлым коммитам без нового эксперимента.

Кому полезно: техлидам, которые хотят понять отдачу от AI-инструментов в своей команде по истории коммитов.

Доклад цитируется в статьях

Главы

Ещё доклады: Yegor Denisov-Blanch

Страница спикера →

Похожие доклады