← Каталог

· AI Engineer World's Fair 2026

Код, созданный ИИ, уже конкурирует с кодом людей

AI-Generated Code Is Already Competing With Human Code — Daksh Gupta, Greptile

По данным Greptile, PR, написанные агентами, почти не уступают человеческим по откатам и числу найденных багов, а узким местом становится валидация.

  • Доля агентных PR — по косвенным признакам (поле author, Co-authored-by в описании, префиксы веток) около четверти PR, которые ревьюит Greptile, написаны ИИ почти полностью; год назад таких было меньше 1%.
  • Откаты и раунды ревью — по данным автора, у Codex около 1 отката на 1000 PR, у людей около 2,5 на 1000, а число раундов ревью до слияния почти не отличается.
  • Другой профиль ошибок — агенты ошибаются иначе: по упоминаниям в комментариях ревью Claude примерно в 1,5 раза чаще людей допускает SQL-инъекции, поэтому чек-лист ревью стоит строить под конкретного агента.
  • Валидация вместо ревью — при росте объёма кода, по мнению автора, проверять нужно три вещи: нарушает ли изменение пользовательский контракт, повышает ли риск будущих нарушений и выполняет ли намерение автора. По словам автора, почти пятая часть ревью Greptile сливается без участия человека.

Кому полезно: тем, кто выстраивает ревью и валидацию для команд, где заметная доля кода пишется агентами.

Статья по теме

На какие вопросы отвечает доклад

  • Откатываются ли PR, написанные агентами, чаще, чем PR от людей?

    По данным спикера, откаты почти одинаковы: Codex около 1 на 1000 PR, Devin около 3,5, люди около 2,5. Размер PR при этом почти не связан с частотой откатов.

    ▶ 5:13Что может ухудшить pull request, написанный агентом?
  • Как измерить долю PR, написанных ИИ, если поле автора в GitHub это не показывает?

    Поле автора указывает на ИИ менее чем в 1% PR. Косвенные признаки, такие как подпись Co-authored-by в описании и префиксы имён веток, дали около четверти PR, написанных полностью или в основном ИИ.

    ▶ 3:02Поле автора не отражает значительную часть активности агентов
  • Сколько раундов ревью нужно PR от агентов и PR от людей до мержа?

    Devin в среднем 2,1 раунда, Codex 2,45, люди между ними; разницы почти нет. По числу P0 три из четырёх тестируемых агентов дали меньше, чем люди.

    ▶ 5:13Что может ухудшить pull request, написанный агентом?
  • Какие типы багов агенты допускают чаще людей, например SQL-инъекции или обход авторизации?

    Claude допускает SQL-инъекции примерно в 1,5 раза чаще людей, а Devin обход авторизации примерно вдвое реже. Частоты ошибок у разных агентов заметно различаются.

    ▶ 8:24Схожее общее качество, разные способы ошибиться
  • Как проверять PR, если агенты производят кода больше, чем люди успевают ревьюить?

    Нужно ответить на три вопроса: нарушен ли пользовательский контракт, растёт ли риск будущих нарушений и выполнил ли PR замысел автора.

    ▶ 9:54Больше кода превращает проверку в узкое место
  • Как проверять изменения, запуская приложение, а не только читая диф?

    Агенты читают изменённые и связанные файлы, ставят зависимости, запускают код в песочнице и кликают по интерфейсу браузерными агентами. По словам спикера, почти пятая часть таких ревью мержится без участия людей.

    ▶ 11:32Изучите окружающий код, затем запустите приложение

Главы

Ещё доклады: Daksh Gupta

Страница спикера →

Похожие доклады