← Каталог

· AI Engineer Code 2025

Долгие задачи и продуктивность опытных разработчиков open source

Long Tasks and Experienced Open Source Dev Productivity

Самоотчёты разработчиков о ускорении с AI расходятся с замерами: в исследовании METR опытные open source разработчики работали медленнее, хотя считали, что быстрее.

  • Самоотчёты против замеров — по словам автора, опрос надёжно передаёт ощущение продуктивности, но плохо отвечает на вопрос, сколько времени заняла задача. Разработчики называли себя быстрее, а по замеренному времени с AI получилось медленнее.
  • Высокая планка зрелых репозиториев — в исследовании медианный PR не требовал правок после ревью. AI-код, который не совпадает с архитектурой и стилем проекта, требует времени на проверку и доработку, поэтому новичку такой PR в зрелом проекте, скорее всего, не сдать с первого раза.
  • Кривая J и малая выборка — в группе с большим опытом Cursor автор видит признаки ускорения, но выборка из 16 разработчиков слишком мала, а разбивка по часам использования, по его словам, занижена. Гипотеза J-кривой освоения инструмента остаётся открытой.
  • Хакатон с рандомизацией — в неопубликованном эксперименте оценки жюри при разрешённом AI оказались выше примерно на 4 перцентильных пункта, при сильном шуме.

Кому полезно: тем, кто собирается оценивать эффект AI-инструментов на команде по опросам или замерам времени задач.

Статья по теме

На какие вопросы отвечает доклад

  • Почему опытные разработчики open source с AI-инструментами работают медленнее, а не быстрее?

    В рандомизированном исследовании METR с шестнадцатью опытными разработчиками ожидали ускорения, а замерили замедление. По словам спикера, в зрелых репозиториях с высокой планкой качества AI часто даёт PR, которые требуют проверки и доработки, и это съедает время.

    ▶ 37:36Естественные задачи на GitHub и качество open source-репозиториев
  • Можно ли верить разработчикам, которые говорят, что AI ускорил их работу?

    По словам спикера, нет: разработчики плохо оценивают время задач, а участники исследования считали себя быстрее, хотя замеры показали замедление. Опросы хорошо передают ощущение продуктивности, но не реальное время выполнения.

    ▶ 6:45J-кривые продуктивности разработчиков и заявленный ими рост скорости
  • Есть ли J-образная кривая освоения Cursor и других AI-инструментов у разработчиков?

    Данные слабые: на выборке из шестнадцати человек сдвига по опыту работы с Cursor не видно. Спикер отмечает, что консервативный подсчёт часов мог исказить последнюю группу, где после корректировки результат выходит около нуля.

    ▶ 14:10Знакомство с Cursor и интерпретация исследования разработчиков
  • Почему AI-агенты плохо справляются с размытыми целями в реальном мире?

    В проекте AI Village агенты, которые работают через computer use, решают нечёткие задачи вроде организации мероприятия и часто проваливаются. Спикер считает, что причина частично в computer use, который уступает работе через CLI и текст, и предлагает проверить текстовую версию с инструментами.

    ▶ 55:58AI Village и оценка агентов по расплывчатым целям из реального мира
  • Как тестировать агентов на длинных задачах, если тестовый набор быстро упирается в предел длины?

    По словам спикера, при удвоении горизонта задач для тестов не хватает, и обходные пути пока на ранней стадии. Он также предполагает, что мониторинг агента может сократить измеримый горизонт на порядок или два.

    ▶ 37:36Естественные задачи на GitHub и качество open source-репозиториев

Главы

Ещё доклады: Joel Becker

Страница спикера →

Похожие доклады