Видение: ноль багов
Vision: Zero Bugs
По оценке спикера, агентная генерация кода может сделать высоконадёжное ПО примерно в сто раз дешевле текущего.
- Независимая верификация — в Airbus A320 код и его проверку писали разные команды, а критичные части работали на разных процессорах и операционных системах; по словам спикера, инцидентов из-за софта у этих самолётов не было.
- Шаттл как ориентир — в последних трёх версиях ПО шаттла на 420 тысяч строк нашли по одной ошибке на версию, что, по оценке спикера, примерно в тысячу раз меньше багов на строку, чем в коммерческом коде.
- Тесты отдельно от кода — пишите тесты и код разными промптами, а для критичных мест просите LLM явный анализ рисков и safety cases.
- Стоимость в итерациях — игра на GPT-5-Codex стоила около двух долларов, из них выходные токены дали около 15%, остальное ушло на повторные входные токены при прогонах тестов.
Кому полезно: тем, кто поручает агентам код в критичных участках и хочет понять, какие проверки добавить.
Статья по теме
На какие вопросы отвечает доклад
Как Airbus A320 добился почти полного отсутствия программных сбоев?
Критичные модули делали разные команды на разных процессорах и ОС (N-version programming), проверяли их независимые команды, не выделяли память во время работы и использовали простую явную обработку ошибок. По словам спикера, серьёзных инцидентов из-за софта не было.
▶ 7:11Airbus A320, надёжность в аэрокосмической отрасли и защитное проектированиеКак проверить код, сгенерированный LLM, до его запуска?
Спикер показывает Dafny: утверждения пишутся прямо в коде, верификатор доказывает их до запуска и генерирует Python-библиотеку. Внесённый в алгоритм баг верификатор останавливает ошибкой ещё до выполнения программы.
▶ 15:11Структурное программирование, модульность и код, сгенерированный LLMКак сделать так, чтобы агент для кодинга не проверял собственный код?
Тесты и код пишут отдельными промптами, а при желании разными моделями от разных провайдеров. Спикер также советует просить LLM явный анализ рисков и safety cases с описанием того, как каждый риск закрыт в коде.
▶ 26:56Независимая проверка при разработке AI-систем с высокими требованиями к надёжностиСколько стоит код, сгенерированный агентами, по сравнению с высоконадёжным ПО?
По расчётам спикера, высоконадёжный код стоит около 2500 долларов за строку в ценах 2025 года, обычный коммерческий 10–100 долларов, а агентная генерация может сократить разрыв до ста раз. Игра стоила около двух долларов, из них выходные токены дали примерно 15%.
▶ 26:56Независимая проверка при разработке AI-систем с высокими требованиями к надёжностиПочему LLM лучше писать код на высоком уровне, а не в машинных кодах?
Контекст LLM ограничен, как внимание человека, поэтому структурное программирование, модули и библиотеки важны и для моделей. Модульность позволяет рассуждать локально на каждом уровне, и сложность остаётся управляемой при любом размере системы.
▶ 15:11Структурное программирование, модульность и код, сгенерированный LLMПочему классические методы верификации не работают для ПО, построенного на LLM?
LLM недетерминированы, а пространство состояний огромно, поэтому известные методы верификации почти не применимы. По мнению спикера, LLM при этом справляются с неожиданными входами и могут дать новый тип устойчивости системы.
▶ 26:56Независимая проверка при разработке AI-систем с высокими требованиями к надёжности
Главы
Похожие доклады
Континуум Z/L: должны ли AI-инженеры по-прежнему читать код?
AI Engineer World's Fair 2026
Близко по содержанию
Основы разработки ПО важны как никогда
AI Engineer Europe 2026
Близко по содержанию
Агенты сообщили о тысячах багов — сколько из них были настоящими?
AI Engineer World's Fair 2025
Близко по содержанию
Почему люди не успевают за кодом, написанным ИИ
Близко по содержанию

