← Статьи

Почему падает качество кода, сгенерированного ИИ, и как это остановить?

Модели обучают проходить тесты, а не беречь архитектуру, поэтому сгенерированный ИИ код быстро раздувается и копит техдолг. В замерах Sonar на 4444 задачах на Java модели написали до 1,2 млн строк с сотнями багов на миллион строк. Качество удерживают жёсткие автоматические проверки, а не правила в промпте.

Опубликовано · по материалам 4 докладов

Почему падает качество кода, сгенерированного ИИ, и как это остановить?

Почему зелёные тесты скрывают деградацию кода

Зелёные тесты больше не гарантируют, что код можно поддерживать. Функциональный бенчмарк вроде SWE-bench проверяет лишь одно: проходит ли решение заданный тест. Что творится внутри файлов, оценка не видит.

Prasenjit Sarkar из Sonar прогнал больше 53 моделей через 4444 задания на Java и проверил их статическим анализатором. На этих задачах Gemini 3.1 Pro High показала 84,17% на SWE-bench и написала 307 тысяч строк кода с цикломатической сложностью 234, 614 багами и 210 уязвимостями на миллион строк. На том же наборе Claude Sonnet 4.6 раздула решение до 627 тысяч строк и выдала 300 уязвимостей на миллион строк. А GPT-5.4 и GPT-5.4 Pro High сгенерировали 1,2 миллиона строк там, где старая GPT-4.0 укладывалась меньше чем в 250 тысяч.

Хуже объёма оказывается то, как эти цифры бьют по команде через квартал. Tariq Shaukat, CEO Sonar, ссылается на исследование Carnegie Mellon: стартовый рывок скорости в три-пять раз сдувается за три месяца. Технический долг, сложность и проблемы надёжности нарастают быстрее самого продукта, и команда возвращается к прежнему темпу.

Похожий перекос виден в опросах и телеметрии. Itamar Friedman из Qodo приводит данные опросов разработчиков: 67% серьёзно переживают за качество кода, сгенерированного ИИ, число pull request выросло примерно на 97%, а время на их проверку - на 90%. Через собственный сканер Qodo проходит миллион pull request в месяц, и в 17% из них нашлись серьёзные дефекты. При этом сам Friedman честно оговаривается: замера до эпохи ИИ на той же выборке нет, так что сравнивать напрямую не с чем. Но даже при прежней плотности ошибок на строку кратный рост объёма кода умножает и число проблем. Почему же даже самые свежие модели продолжают раздувать и портить дизайн?

▶ 3:48Могут ли LLM писать код корпоративного качества?, смотреть с 3:48

«Здесь видно, что у Gemini 3.1 Pro High доля прохождения взята из SWE-bench. Получается 84,17%, но код раздутый.»

And here you can see that Gemini 3.1 Pro High, the pass rate is coming from the SWE-bench. So you can see the eighty-four point one seven percent, but it is verbose.

Prasenjit Sarkar · AI Engineer Europe 2026 · смотреть с 3:48

Почему рост моделей не лечит слабый дизайн

Кажется, что следующее поколение моделей поумнеет и начнёт писать аккуратнее. Практика показывает обратное: Sarkar отмечает, что по мере дообучения модели закрывают старые типовые уязвимости, но генерируют более длинный и запутанный код с тонкими логическими ошибками, которые человеку гораздо труднее заметить на ревью.

Главную причину разбирает Dex Horthy из HumanLayer. Модели дообучают через обучение с подкреплением на коротких задачах с бинарной наградой: если тест прошёл, модель получает единицу, если упал - ноль. В такой схеме её нельзя оштрафовать за плохое проектирование или падение поддерживаемости. Поэтому агент спокойно оборачивает проблемный кусок в лишний try-catch или принудительно приводит типы, лишь бы тест позеленел. Цену плохой архитектуры команда платит через месяцы и годы, и протянуть такой сигнал обратно в веса модели пока невозможно.

На перекос обучения накладывается вторая беда - ваша собственная кодовая база. Lauren Tan из SpaceX объясняет этот эффект просто: код проекта - самый большой вход, который читает агент. Если в репозитории прижился костыль, временный таймер или устаревший обходной путь, следующий агент примет его за местный стандарт и растиражирует по соседним модулям. Техдолг начинает разрастаться как сорняки. Сюда же Sarkar добавляет шумные открытые датасеты с уже зашитыми уязвимостями и вероятностную природу моделей: один и тот же промпт сегодня и завтра даёт разную реализацию.

Когда модель сама тянется к костылям и копирует чужой техдолг, хочется расписать в AGENTS.md строгий свод архитектурных правил. На практике именно здесь команды чаще всего теряют время.

▶ 12:48Почему программные фабрики терпят неудачу, смотреть с 12:48

«Модели обучают так, чтобы тест прошёл. В этой системе нет способа оштрафовать модель за плохое проектирование программы или за то, что она разрушает поддерживаемость наших систем.»

Models are trained to get the test to pass. There's no way in this system that we can penalize it for poor program design or for eroding the maintainability of our systems.

Dex Horthy · AI Engineer World's Fair 2026 · смотреть с 12:48
▶ 13:11Почему программные фабрики терпят неудачу, смотреть с 13:11

«Проверять качество кода и поддерживаемость на порядки сложнее, чем факт, что код запускается и тесты проходят, потому что цена плохой архитектуры измеряется месяцами и годами.»

Verifying code quality and maintainability is orders of magnitude harder than the code runs and the test pass because the cost function of bad architecture is measured in months and years.

Dex Horthy · AI Engineer World's Fair 2026 · смотреть с 13:11

Как команды удерживают качество без уговоров в промпте

Текстовые правила в промптах и файлах вроде AGENTS.md работают хуже, чем ожидают команды: Friedman отмечает, что модели соблюдают правила редакторов лишь частично. Lauren Tan строит защиту иначе - в виде перевёрнутой пирамиды доверия. В самом основании лежат жёсткие детерминированные барьеры в коде: дизайн API, границы зависимостей, линтеры, строгая типизация, компилятор и тесты. Выше идут проверки в рантайме и формальные методы, например управление браузером через Chrome DevTools Protocol и property-based тестирование интерфейса. И лишь на самой узкой вершине остаётся минимум прозы с правилами.

В SpaceX довели этот принцип до конкретных запретов. Команда убрала useEffect из продуктового кода, закрыла кросс-импорты между слоями правилами графа зависимостей и запретила 99% комментариев: агенты использовали их, чтобы оправдывать костыли вроде искусственных таймеров setTimeout. Каждое замечание к агенту старались перевести в автоматическую проверку. Результат команды - 11 000 pull request в продакшен за месяц при доле откатов примерно полпроцента, но за это приходится платить: основная часть токенов уходит на верификацию, а не на генерацию.

В старом проекте с тысячами накопившихся предупреждений включить строгий линтер разом не получится. Josh Albrecht из Imbue решает это через дифференциальные линтеры: система сравнивает число ошибок до правки агента и после неё, не давая модели добавлять новые дефекты даже в грязный репозиторий. Nnenna Ndukwe из Qodo советует связку локальных проверок до коммита (Ruff, Pyright, Bandit, pytest, Semgrep) и повторный контроль уже после открытия pull request.

Агентное ревью поверх статанализа тоже помогает, но его нельзя путать с гарантией. Shaukat приводит данные клиентов Sonar: при многослойной проверке, где алгоритмический анализатор сочетают с проверкой другой моделью, инциденты в продакшене из-за кода ИИ случаются на 44% реже, а в пилотном тесте с крупным банком число дефектов снизилось на 92%. Но на вопросах из зала Ndukwe признаёт предел такого подхода: когда корпоративные правила подтягиваются через RAG, отбор остаётся вероятностным, и нужное правило всё равно может не сработать. Всё, что действительно нельзя нарушать, приходится зашивать в детерминированный код.

▶ 3:12Весь код — мусор, кроме моего, смотреть с 3:12

«Всякий раз, когда вы поправляете агента, подумайте, как превратить это в детерминированную проверку вместо ещё одной строчки в правилах или AGENTS.md: в коде это намного воспроизводимее и позволяет сильнее доверять результату.»

So whenever you're correcting your agent, think about how you can make that a deterministic check, instead of adding another line to your rules or your agents.md, because it's far more reproducible when it's in code and it lets you trust it more.

Lauren Tan · AI Engineer Code 2026 · смотреть с 3:12
▶ 12:36В мире AI-агентов верификаторы — короли, смотреть с 12:36

«Когда мы смотрим на партнёров и клиентов с многослойной верификацией, они сообщают, что сбои в продакшене из-за кода ИИ случаются у них на 44% реже, чем у тех, кто её не использует.»

So as we look at our partners and customers who use a multilayered verification approach, they are reporting AI-derived production outages being forty-four percent less frequent than the ones who do not.

Tariq Shaukat · AI Engineer World's Fair 2026 · смотреть с 12:36

Чего в этих данных не хватает и где нужна осторожность

Цифры из докладов полезны как ориентир, но их стоит читать с поправкой на источники. Sonar и Qodo продают инструменты анализа и верификации кода, поэтому клиентские показатели вроде минус 44% инцидентов или минус 92% проблем получены без независимого аудита и зависят от того, как именно команды внедряли процессы. Замеры Sonar на 4444 заданиях на Java показывают масштаб раздувания и плотность дефектов на изолированных задачах, но не заменяют проверку на вашем стеке и вашей архитектуре. Сам Friedman признаёт смещение в опросах, когда респондентов прямо спрашивают про боль от качества.

Опыт SpaceX доказывает, что дисциплина проверок работает и на тысячах изменений, но это сильная инженерная культура с вложениями в инфраструктуру. Зато в главном выводе вендоры и независимые практики не расходятся: пока модели учат просто делать тесты зелёными, качество кода будет сползать само, если не перенести стандарты команды из текстовых пожеланий в компилятор, линтеры и автоматические проверки.