Долгие задачи и продуктивность опытных разработчиков open source
Long Tasks and Experienced Open Source Dev Productivity
Самоотчёты разработчиков о ускорении с AI расходятся с замерами: в исследовании METR опытные open source разработчики работали медленнее, хотя считали, что быстрее.
- Самоотчёты против замеров — по словам автора, опрос надёжно передаёт ощущение продуктивности, но плохо отвечает на вопрос, сколько времени заняла задача. Разработчики называли себя быстрее, а по замеренному времени с AI получилось медленнее.
- Высокая планка зрелых репозиториев — в исследовании медианный PR не требовал правок после ревью. AI-код, который не совпадает с архитектурой и стилем проекта, требует времени на проверку и доработку, поэтому новичку такой PR в зрелом проекте, скорее всего, не сдать с первого раза.
- Кривая J и малая выборка — в группе с большим опытом Cursor автор видит признаки ускорения, но выборка из 16 разработчиков слишком мала, а разбивка по часам использования, по его словам, занижена. Гипотеза J-кривой освоения инструмента остаётся открытой.
- Хакатон с рандомизацией — в неопубликованном эксперименте оценки жюри при разрешённом AI оказались выше примерно на 4 перцентильных пункта, при сильном шуме.
Кому полезно: тем, кто собирается оценивать эффект AI-инструментов на команде по опросам или замерам времени задач.
Статья по теме
На какие вопросы отвечает доклад
Почему опытные разработчики open source с AI-инструментами работают медленнее, а не быстрее?
В рандомизированном исследовании METR с шестнадцатью опытными разработчиками ожидали ускорения, а замерили замедление. По словам спикера, в зрелых репозиториях с высокой планкой качества AI часто даёт PR, которые требуют проверки и доработки, и это съедает время.
▶ 37:36Естественные задачи на GitHub и качество open source-репозиториевМожно ли верить разработчикам, которые говорят, что AI ускорил их работу?
По словам спикера, нет: разработчики плохо оценивают время задач, а участники исследования считали себя быстрее, хотя замеры показали замедление. Опросы хорошо передают ощущение продуктивности, но не реальное время выполнения.
▶ 6:45J-кривые продуктивности разработчиков и заявленный ими рост скоростиЕсть ли J-образная кривая освоения Cursor и других AI-инструментов у разработчиков?
Данные слабые: на выборке из шестнадцати человек сдвига по опыту работы с Cursor не видно. Спикер отмечает, что консервативный подсчёт часов мог исказить последнюю группу, где после корректировки результат выходит около нуля.
▶ 14:10Знакомство с Cursor и интерпретация исследования разработчиковПочему AI-агенты плохо справляются с размытыми целями в реальном мире?
В проекте AI Village агенты, которые работают через computer use, решают нечёткие задачи вроде организации мероприятия и часто проваливаются. Спикер считает, что причина частично в computer use, который уступает работе через CLI и текст, и предлагает проверить текстовую версию с инструментами.
▶ 55:58AI Village и оценка агентов по расплывчатым целям из реального мираКак тестировать агентов на длинных задачах, если тестовый набор быстро упирается в предел длины?
По словам спикера, при удвоении горизонта задач для тестов не хватает, и обходные пути пока на ранней стадии. Он также предполагает, что мониторинг агента может сократить измеримый горизонт на порядок или два.
▶ 37:36Естественные задачи на GitHub и качество open source-репозиториев
Главы
Ещё доклады: Joel Becker
Страница спикера →Почему хайп вокруг AI-агентов может расходиться с реальностью
AI Engineer Code 2025
Похожие доклады
Действительно ли ИИ повышает продуктивность разработчиков? Исследование 100 тысяч разработчиков
AI Engineer World's Fair 2025
Близко по содержанию
Как измерить ROI от ИИ в разработке ПО (исследование Stanford / 120 тыс. разработчиков)
AI Engineer Code 2025
Близко по содержанию
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
Близко по содержанию

