Как измерить ROI от ИИ в разработке ПО (исследование Stanford / 120 тыс. разработчиков)
How to Quantify AI ROI in Software Engineering (Stanford Study / 120k Devs)
Числа PR и потраченных токенов не показывают пользу AI в разработке: по данным исследования, эффект зависит от чистоты кодовой базы и качества использования, и измерять его нужно по выходу инженерии.
- Токены не равны пользе — корреляция расхода токенов с приростом производительности слабая, около 0,2; команды на отметке около 10 миллионов токенов на инженера в месяц работали хуже тех, кто тратил меньше.
- Чистый код усиливает эффект — экспериментальный индекс чистоты кодовой базы (тесты, типы, документация, модульность, качество кода) объясняет около 40% разброса прироста; отклонённый AI-код и переписывание подрывают доверие к инструменту.
- PR обманывают — в кейсе команды из 350 человек PR выросли на 14%, но, по словам авторов, качество кода упало на 9%, а rework вырос в 2,5 раза.
- Оценка по истории Git — выход инженерии считает модель, обученная повторять панели из 10–15 экспертов, и её можно применить к прошлым коммитам без нового эксперимента.
Кому полезно: техлидам, которые хотят понять отдачу от AI-инструментов в своей команде по истории коммитов.
Доклад цитируется в статьях
Главы
Ещё доклады: Yegor Denisov-Blanch
Страница спикера →Похожие доклады
Зачем вообще нужны evals?
AI Engineer World's Fair 2025
Близко по содержанию
Руководство разработкой с помощью AI
AI Engineer Code 2025
Близко по содержанию
Как разработка с AI может вдвое повысить производительность инженерной команды
AI Engineer Europe 2026
Близко по содержанию

