← Каталог

· AI Engineer World's Fair 2025

Действительно ли ИИ повышает продуктивность разработчиков? Исследование 100 тысяч разработчиков

Does AI Actually Boost Developer Productivity? (100k Devs Study) - Yegor Denisov-Blanch, Stanford

По данным исследования Стэнфорда, AI даёт в среднем 15–20% прироста продуктивности, но в сложных задачах в существующем коде выигрыш падает до 0–10%.

  • Замер по функциональности, а не по коммитам — авторы оценивают ценность изменений в приватных репозиториях более чем 600 компаний; часть прироста от AI уходит на переделку свежего кода, поэтому сырые цифры завышены.
  • Матрица выигрыша — простые задачи в новых проектах дают 30–40%, сложные задачи в существующем коде 0–10%; для редких языков вроде COBOL или Haskell на сложных задачах AI может замедлять работу.
  • Размер кодовой базы — выигрыш быстро падает с ростом проекта; по данным работы Nolima, качество моделей на кодинге при 32 тысячах токенов падает с 90% примерно до 50%.
  • Опросы не годятся для замера — самооценка 43 разработчиков расходилась с измеренной продуктивностью примерно на 30 перцентильных пунктов.

Кому полезно: техлидам, которые решают, для каких задач и кодовых баз разрешать AI-инструменты, и тем, кто хочет измерять их эффект.

Статья по теме

На какие вопросы отвечает доклад

  • Почему число коммитов и PR не показывает реальную продуктивность команды с AI?

    AI часто добавляет новые багфиксы к коду, который сам же написал, а размер задач сильно различается. Поэтому продуктивность стоит мерить по поставленной функциональности, а не по коммитам.

    ▶ 4:38Ограничения
  • Можно ли доверять самооценке разработчиков о своей продуктивности?

    Нет: в эксперименте с 43 разработчиками самооценка расходилась с измеренной продуктивностью примерно на 30 перцентильных пунктов, и только один из трёх попал в свой квартиль. Опросы полезны для настроения команды, но не для замера продуктивности.

    ▶ 4:38Ограничения
  • Как измерять продуктивность разработчиков по Git, а не по строкам кода?

    Модель подключается к Git, анализирует изменения исходного кода в каждом коммите по нескольким измерениям и суммирует функциональность, которую команда поставляет во времени. Оценки сверялись с панелью экспертов, которые согласуются между собой.

    ▶ 7:18Методология
  • Какой реальный прирост продуктивности дают AI-ассистенты для кодинга в командах?

    По данным исследования почти 100 тысяч разработчиков из более чем 600 компаний, в среднем 15–20%. Заметная часть роста объёма кода уходит на переделку недавно написанного кода.

    ▶ 9:05Влияние ИИ
  • На каких задачах AI-кодинг почти не даёт прироста продуктивности?

    Сложные задачи в существующей кодовой базе (brownfield) дают лишь 0–10%, а простые задачи в новом проекте (greenfield) до 30–40%. Для простых задач в распространённых языках прирост около 20%.

    ▶ 11:03Сложность и зрелость
  • Стоит ли использовать AI для кодинга на редких языках вроде COBOL или Haskell?

    На редких языках AI почти не помогает даже на простых задачах, а на сложных может замедлять разработку. Для популярных языков, таких как Python или Java, полезность заметно выше.

    ▶ 14:21Популярность языка программирования
  • Почему AI-ассистент теряет качество на большой кодовой базе?

    С ростом кодовой базы прирост от AI быстро падает из-за ограничений контекстного окна, шума в контексте и большего числа зависимостей. По данным из работы NoLiMa, точность на контексте 32 тысячи токенов падает с 90% примерно до 50%.

    ▶ 15:35Размер кодовой базы

Главы

Ещё доклады: Yegor Denisov-Blanch

Страница спикера →

Похожие доклады