· AI Engineer World's Fair 2026
Смерть code review: что на самом деле говорят данные
The Death of the Code Review: What the Data Actually Says — Laurie Voss, Arize AI
Когда агенты пишут код быстрее людей, узкое место — проверка, и её нельзя закрыть ручным ревью: нужен review harness, где человек задаёт определение качества.
- Потолок ручного ревью — по старому исследованию Cisco эффективность ревьюеров падает после 400 строк за сеанс, поэтому pull request агента на 10 тысяч строк требует от человека 3–4 рабочих дня.
- Несколько проходов ревью — Cursor запускал восемь проходов по каждому diff с перемешиванием порядка ревьюеров, чтобы отсеять ложные срабатывания; по данным команды из Пекинского университета, такой приём поднимал качество ревью до 44%.
- Тесты не равны принятию в код — по данным METR, около половины PR, которые прошли SWE-bench, мейнтейнеры не приняли бы; по словам Cognition, модель с 88% на SWE-bench Pro получает 29% на самом сложном срезе FrontierCode.
- Ревьюер тоже уязвим — по данным одного исследования, уязвимый код с невинным commit message обманывал автоматического ревьюера в 88% попыток против 35% у человека, а ревьюер Anthropic в README прямо предупреждает о prompt injection.
Кому полезно: тем, кто строит процессы ревью для кода, написанного агентами, и решает, на каких этапах оставить человека.
Доклад цитируется в статьях
На какие вопросы отвечает доклад
Почему ревью кода стало узким местом, если агенты пишут код намного быстрее?
По приведённому исследованию, разработчики с агентами написали на 741% больше кода, но выпустили только на 30% больше ПО, потому что скорость ревью людей не выросла.
▶ 0:12Генерация кода и узкое место проверки человекомПочему нельзя решить узкое место ревью, просто ревьюя больше кода?
По данным исследования Cisco, качество поиска дефектов падает после 400 строк за один присест и резко падает после 450 строк в час. Pull request на 10 000 строк потребовал бы трёх-четырёх рабочих дней живого ревью.
▶ 3:12Пределы проверки большего объёма кодаПочему код, который проходит тесты, всё равно не принимают в merge?
По данным METR, около половины PR, прошедших проверку SWE-bench, мейнтейнеры сочли пригодными к слиянию. Провалы касались качества кода и поломок связанного кода вне тестов.
▶ 6:43Прохождение тестов и готовность к слияниюКак сделать автоматическое ревью кода без потока ложных срабатываний?
Запускать несколько проходов ревьюера в разном порядке и оставлять замечания, на которые проходы сходятся. По словам спикера, исследование Пекинского университета показало рост качества ревью до 44%, а ревьюеру задают подозрительность по умолчанию.
▶ 11:11Автоматические проверяющие, несколько проходов и исправлениеМожно ли полностью убрать человека из цикла, когда агенты пишут и выпускают код?
В переносе Bun на Rust тесты прошли на 99,8%, но в коде оказалось 13 044 unsafe-блока, на порядки больше обычного для кода такого размера. Тесты не проверяют то, что в них не заложили.
▶ 14:42Компилятор C и эксперименты по портированию BunПочему автоматический ревьюер кода пропускает уязвимости, замаскированные под безобидный коммит?
Документация одного из автоматических security-ревьюеров прямо предупреждает, что он не защищён от промпт-инъекций. По приведённому исследованию, агентный ревьюер пропустил уязвимый код в 88% попыток, человек в 35%.
▶ 20:29Prompt injection и проверка проверяющих
Главы
Ещё доклады: Laurie Voss
Все 7 докладов →Похожие доклады
ИИ пишет код. Что остаётся инженерам?
Тот же спикер: Laurie Voss
Поймайте баги, которые пропускает code review
Killian Carlsen-Phelan, Taylor Luttrell-Williams
Близко по содержанию
Хватит промптить
AI Engineer World's Fair 2026
Близко по содержанию
Как в Anthropic ежедневно мержат 30 000 изменений кода
Близко по содержанию

