← Каталог

· AI Engineer Code 2025

Почему хайп вокруг AI-агентов может расходиться с реальностью

Why Agent Hype can fall short of reality – Joel Becker, METR

Рост бенчмарочных результатов агентов не гарантирует выигрыш в продуктивности: в эксперименте METR опытные разработчики работали с AI на 19% дольше.

  • Разрыв между метриками и практикой — по метрике time horizon METR модели справляются со всё более длинными задачами, и длина этих задач удваивается примерно каждые шесть-семь месяцев. Бенчмарки при этом редко включают большие и запутанные кодовые базы.
  • Ожидания против замера — эксперты ожидали ускорения около 40%, разработчики до работы ждали около 24%, а после работы оценивали выигрыш примерно в 20%. Замер показал замедление на 19%.
  • Вероятные причины — авторы разбирают гипотезы: модели надёжны лишь в части случаев, и их код приходится проверять; тесты не учитывают mergeability кода; разработчики уже знают решение и тратят время на постановку задачи AI.
  • Ограничения выборки — участвовали 16 разработчиков, работавших над репозиториями на миллион с лишним строк кода, например scikit-learn и Hugging Face Transformers, в марте 2025 года. Поэтому результат не переносится на все команды и задачи.

Кому полезно: тем, кто оценивает эффект AI-инструментов на команду по реальным задачам, а не по бенчмаркам.

Статья по теме

На какие вопросы отвечает доклад

  • Почему опытные разработчики с AI-инструментами работают медленнее, хотя считают, что быстрее?

    В рандомизированном эксперименте с 16 опытными разработчиками крупных открытых проектов AI-инструменты замедляли их на 19%, а сами они после работы оценивали ускорение примерно в 20%. Авторы перечисляют возможные причины: чрезмерный оптимизм, неявный контекст репозитория и высокая знакомость разработчиков с кодом.

    ▶ 10:27Исследование внедрения в реальных условиях с опытными разработчиками open source
  • Когда агент для кодинга экономит время, если он иногда ошибается в решении задач?

    По словам спикера, разработчики экономят время только при надежности около 95–99%, иначе приходится тратить время на проверку и исправление. Оценка по тестам, как в SWE-bench, также не учитывает, пригоден ли код для слияния и поддержки.

    ▶ 17:29Возможные объяснения роста производительности и неопределенность из-за малой выборки
  • Как измерить, какой длины задачи агент выполняет самостоятельно с заданной вероятностью?

    Авторы переводят время выполнения задач людьми в метрику time horizon: это длина задачи, на которой модель справляется в 50% случаев. По их данным, эта величина растет экспоненциально, примерно удваиваясь каждые 6–7 месяцев.

    ▶ 3:29Наборы задач, откалиброванные людьми, Claude 3.7 Sonnet и временные горизонты
  • Почему бенчмарки вроде GPQA и SWE-bench плохо показывают реальные возможности моделей?

    Проценты на шкале от случайного угадывания до экспертного уровня трудно перевести в практическую пользу, а бенчмарки быстро насыщаются. Задачи в них также часто небольшие и изолированные, без сложной работы с реальным кодом.

    ▶ 1:53Почему результаты SWE-bench и GPQA трудно интерпретировать

Главы

Ещё доклады: Joel Becker

Страница спикера →

Похожие доклады