· AI Engineer World's Fair 2025
Действительно ли ИИ повышает продуктивность разработчиков? Исследование 100 тысяч разработчиков
Does AI Actually Boost Developer Productivity? (100k Devs Study) - Yegor Denisov-Blanch, Stanford
По данным исследования Стэнфорда, AI даёт в среднем 15–20% прироста продуктивности, но в сложных задачах в существующем коде выигрыш падает до 0–10%.
- Замер по функциональности, а не по коммитам — авторы оценивают ценность изменений в приватных репозиториях более чем 600 компаний; часть прироста от AI уходит на переделку свежего кода, поэтому сырые цифры завышены.
- Матрица выигрыша — простые задачи в новых проектах дают 30–40%, сложные задачи в существующем коде 0–10%; для редких языков вроде COBOL или Haskell на сложных задачах AI может замедлять работу.
- Размер кодовой базы — выигрыш быстро падает с ростом проекта; по данным работы Nolima, качество моделей на кодинге при 32 тысячах токенов падает с 90% примерно до 50%.
- Опросы не годятся для замера — самооценка 43 разработчиков расходилась с измеренной продуктивностью примерно на 30 перцентильных пунктов.
Кому полезно: техлидам, которые решают, для каких задач и кодовых баз разрешать AI-инструменты, и тем, кто хочет измерять их эффект.
Статья по теме
На какие вопросы отвечает доклад
Почему число коммитов и PR не показывает реальную продуктивность команды с AI?
AI часто добавляет новые багфиксы к коду, который сам же написал, а размер задач сильно различается. Поэтому продуктивность стоит мерить по поставленной функциональности, а не по коммитам.
▶ 4:38ОграниченияМожно ли доверять самооценке разработчиков о своей продуктивности?
Нет: в эксперименте с 43 разработчиками самооценка расходилась с измеренной продуктивностью примерно на 30 перцентильных пунктов, и только один из трёх попал в свой квартиль. Опросы полезны для настроения команды, но не для замера продуктивности.
▶ 4:38ОграниченияКак измерять продуктивность разработчиков по Git, а не по строкам кода?
Модель подключается к Git, анализирует изменения исходного кода в каждом коммите по нескольким измерениям и суммирует функциональность, которую команда поставляет во времени. Оценки сверялись с панелью экспертов, которые согласуются между собой.
▶ 7:18МетодологияКакой реальный прирост продуктивности дают AI-ассистенты для кодинга в командах?
По данным исследования почти 100 тысяч разработчиков из более чем 600 компаний, в среднем 15–20%. Заметная часть роста объёма кода уходит на переделку недавно написанного кода.
▶ 9:05Влияние ИИНа каких задачах AI-кодинг почти не даёт прироста продуктивности?
Сложные задачи в существующей кодовой базе (brownfield) дают лишь 0–10%, а простые задачи в новом проекте (greenfield) до 30–40%. Для простых задач в распространённых языках прирост около 20%.
▶ 11:03Сложность и зрелостьСтоит ли использовать AI для кодинга на редких языках вроде COBOL или Haskell?
На редких языках AI почти не помогает даже на простых задачах, а на сложных может замедлять разработку. Для популярных языков, таких как Python или Java, полезность заметно выше.
▶ 14:21Популярность языка программированияПочему AI-ассистент теряет качество на большой кодовой базе?
С ростом кодовой базы прирост от AI быстро падает из-за ограничений контекстного окна, шума в контексте и большего числа зависимостей. По данным из работы NoLiMa, точность на контексте 32 тысячи токенов падает с 90% примерно до 50%.
▶ 15:35Размер кодовой базы
Главы
Ещё доклады: Yegor Denisov-Blanch
Страница спикера →Похожие доклады
Разработка ПО + ИИ = ?
AI Engineer Europe 2026
Близко по содержанию
Уходим от Agile: что дальше?
Martin Harrysson, Natasha Maniar
AI Engineer Code 2025
Близко по содержанию
Состояние ИИ в разработке ПО: данные более чем 400 организаций
Близко по содержанию

