← Каталог

· AI Engineer World's Fair 2026

Смерть code review: что на самом деле говорят данные

The Death of the Code Review: What the Data Actually Says — Laurie Voss, Arize AI

Когда агенты пишут код быстрее людей, узкое место — проверка, и её нельзя закрыть ручным ревью: нужен review harness, где человек задаёт определение качества.

  • Потолок ручного ревью — по старому исследованию Cisco эффективность ревьюеров падает после 400 строк за сеанс, поэтому pull request агента на 10 тысяч строк требует от человека 3–4 рабочих дня.
  • Несколько проходов ревью — Cursor запускал восемь проходов по каждому diff с перемешиванием порядка ревьюеров, чтобы отсеять ложные срабатывания; по данным команды из Пекинского университета, такой приём поднимал качество ревью до 44%.
  • Тесты не равны принятию в код — по данным METR, около половины PR, которые прошли SWE-bench, мейнтейнеры не приняли бы; по словам Cognition, модель с 88% на SWE-bench Pro получает 29% на самом сложном срезе FrontierCode.
  • Ревьюер тоже уязвим — по данным одного исследования, уязвимый код с невинным commit message обманывал автоматического ревьюера в 88% попыток против 35% у человека, а ревьюер Anthropic в README прямо предупреждает о prompt injection.

Кому полезно: тем, кто строит процессы ревью для кода, написанного агентами, и решает, на каких этапах оставить человека.

Доклад цитируется в статьях

На какие вопросы отвечает доклад

  • Почему ревью кода стало узким местом, если агенты пишут код намного быстрее?

    По приведённому исследованию, разработчики с агентами написали на 741% больше кода, но выпустили только на 30% больше ПО, потому что скорость ревью людей не выросла.

    ▶ 0:12Генерация кода и узкое место проверки человеком
  • Почему нельзя решить узкое место ревью, просто ревьюя больше кода?

    По данным исследования Cisco, качество поиска дефектов падает после 400 строк за один присест и резко падает после 450 строк в час. Pull request на 10 000 строк потребовал бы трёх-четырёх рабочих дней живого ревью.

    ▶ 3:12Пределы проверки большего объёма кода
  • Почему код, который проходит тесты, всё равно не принимают в merge?

    По данным METR, около половины PR, прошедших проверку SWE-bench, мейнтейнеры сочли пригодными к слиянию. Провалы касались качества кода и поломок связанного кода вне тестов.

    ▶ 6:43Прохождение тестов и готовность к слиянию
  • Как сделать автоматическое ревью кода без потока ложных срабатываний?

    Запускать несколько проходов ревьюера в разном порядке и оставлять замечания, на которые проходы сходятся. По словам спикера, исследование Пекинского университета показало рост качества ревью до 44%, а ревьюеру задают подозрительность по умолчанию.

    ▶ 11:11Автоматические проверяющие, несколько проходов и исправление
  • Можно ли полностью убрать человека из цикла, когда агенты пишут и выпускают код?

    В переносе Bun на Rust тесты прошли на 99,8%, но в коде оказалось 13 044 unsafe-блока, на порядки больше обычного для кода такого размера. Тесты не проверяют то, что в них не заложили.

    ▶ 14:42Компилятор C и эксперименты по портированию Bun
  • Почему автоматический ревьюер кода пропускает уязвимости, замаскированные под безобидный коммит?

    Документация одного из автоматических security-ревьюеров прямо предупреждает, что он не защищён от промпт-инъекций. По приведённому исследованию, агентный ревьюер пропустил уязвимый код в 88% попыток, человек в 35%.

    ▶ 20:29Prompt injection и проверка проверяющих

Главы

Ещё доклады: Laurie Voss

Все 7 докладов →

Похожие доклады