Почему хайп вокруг AI-агентов может расходиться с реальностью
Why Agent Hype can fall short of reality – Joel Becker, METR
Рост бенчмарочных результатов агентов не гарантирует выигрыш в продуктивности: в эксперименте METR опытные разработчики работали с AI на 19% дольше.
- Разрыв между метриками и практикой — по метрике time horizon METR модели справляются со всё более длинными задачами, и длина этих задач удваивается примерно каждые шесть-семь месяцев. Бенчмарки при этом редко включают большие и запутанные кодовые базы.
- Ожидания против замера — эксперты ожидали ускорения около 40%, разработчики до работы ждали около 24%, а после работы оценивали выигрыш примерно в 20%. Замер показал замедление на 19%.
- Вероятные причины — авторы разбирают гипотезы: модели надёжны лишь в части случаев, и их код приходится проверять; тесты не учитывают mergeability кода; разработчики уже знают решение и тратят время на постановку задачи AI.
- Ограничения выборки — участвовали 16 разработчиков, работавших над репозиториями на миллион с лишним строк кода, например scikit-learn и Hugging Face Transformers, в марте 2025 года. Поэтому результат не переносится на все команды и задачи.
Кому полезно: тем, кто оценивает эффект AI-инструментов на команду по реальным задачам, а не по бенчмаркам.
Статья по теме
На какие вопросы отвечает доклад
Почему опытные разработчики с AI-инструментами работают медленнее, хотя считают, что быстрее?
В рандомизированном эксперименте с 16 опытными разработчиками крупных открытых проектов AI-инструменты замедляли их на 19%, а сами они после работы оценивали ускорение примерно в 20%. Авторы перечисляют возможные причины: чрезмерный оптимизм, неявный контекст репозитория и высокая знакомость разработчиков с кодом.
▶ 10:27Исследование внедрения в реальных условиях с опытными разработчиками open sourceКогда агент для кодинга экономит время, если он иногда ошибается в решении задач?
По словам спикера, разработчики экономят время только при надежности около 95–99%, иначе приходится тратить время на проверку и исправление. Оценка по тестам, как в SWE-bench, также не учитывает, пригоден ли код для слияния и поддержки.
▶ 17:29Возможные объяснения роста производительности и неопределенность из-за малой выборкиКак измерить, какой длины задачи агент выполняет самостоятельно с заданной вероятностью?
Авторы переводят время выполнения задач людьми в метрику time horizon: это длина задачи, на которой модель справляется в 50% случаев. По их данным, эта величина растет экспоненциально, примерно удваиваясь каждые 6–7 месяцев.
▶ 3:29Наборы задач, откалиброванные людьми, Claude 3.7 Sonnet и временные горизонтыПочему бенчмарки вроде GPQA и SWE-bench плохо показывают реальные возможности моделей?
Проценты на шкале от случайного угадывания до экспертного уровня трудно перевести в практическую пользу, а бенчмарки быстро насыщаются. Задачи в них также часто небольшие и изолированные, без сложной работы с реальным кодом.
▶ 1:53Почему результаты SWE-bench и GPQA трудно интерпретировать
Главы
Ещё доклады: Joel Becker
Страница спикера →Долгие задачи и продуктивность опытных разработчиков open source
AI Engineer Code 2025
Похожие доклады
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Близко по содержанию
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию
Переосмысление сред для долгосрочной работы
AI Engineer World's Fair 2026
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию

