Могут ли LLM писать код корпоративного качества?
Can LLMs generate Enterprise Quality Code? — Prasenjit Sarkar, Sonar
Pass rate на бенчмарках не говорит о безопасности кода: по замерам Sonar на 4 444 Java-задачах модели различаются по объёму кода и числу уязвимостей.
- Pass rate не говорит о безопасности — Gemini 3.1 Pro High набрал 84,17% на SWE-bench, но Claude Sonnet 4.6, по данным Sonar, дал около 300 проблем безопасности на миллион строк.
- Объём кода растёт — варианты GPT-5.4 написали около 1,2 млн строк на те же задачи, Claude Sonnet 4.6 около 627 тысяч. По наблюдению Sonar, новые модели пишут больше кода, а не меньше.
- Проверка до коммита — по словам авторов, SonarQube Agentic Analysis подключается к агенту через MCP и проверяет код за 1–5 секунд, тогда как CI идёт 1–5 минут, так что агент исправляет находки до push. Режим в открытой бете.
- Remediation агент для долга — создаёт отдельный PR на каждую выбранную проблему, заново запускает анализ и сборку и отбрасывает исправления, которые ломают код. Доклад в основном про продукты Sonar, и часть цифр — их собственные замеры.
Кому полезно: тем, кто внедряет coding агентов в команде и хочет проверять их код до ревью.
Статья по теме
Главы
Похожие доклады
Почему люди не успевают за кодом, написанным ИИ
Близко по содержанию
LLM evals, которые работают в реальных условиях
AI Engineer World's Fair 2024
Близко по содержанию
Код, созданный ИИ, уже конкурирует с кодом людей
AI Engineer World's Fair 2026
Близко по содержанию
Направляй, проверяй, исправляй: инженерная дисциплина для agentic-разработки
AI Engineer World's Fair 2026
Близко по содержанию

