· AI Engineer World's Fair 2026
Учить ИИ находить настоящие уязвимости
Teaching AI to Find Real Vulnerabilities — Prof. David Brumley, Bugcrowd
RL-среды для кибербезопасности дают модели честный сигнал, только если задача не сводится к одному багу, а оценка детерминированная.
- Аудит всех уязвимостей — модель ищет и доказывает все баги программы, и их число заранее неизвестно. Качество считается через precision и recall, поэтому модель не застревает на самом простом баге, как по словам спикера происходит в CyBench и CyberGym.
- Детерминированная проверка — уникальность уязвимостей определяется по stack backtrace, как в системах отчётов о падениях, без LLM-as-a-judge. По словам спикера, LLM-судьи всегда считают, что взлом удался.
- Падение не равно взлому — на 41 уязвимости V8 GPT-5.5 и Mythos вызывают crash в 39 случаях, но выполнение произвольного кода удалось Mythos в 30 случаях (73%), GPT в 68%. Лестница из 16 ступеней показывает, где модель застревает.
- Новые уязвимости для обучения — среды строятся на zero-day из открытого кода, чтобы модель не могла просто запомнить эксплойт. По словам автора, партнёрам поставляется до 10 000 сред в месяц.
Кому полезно: тем, кто строит RL-среды или бенчмарки для оценки security-способностей LLM.
Статья по теме
Главы
Похожие доклады
Реальные атаки на AI-агентов и меры, которые могли бы их предотвратить
Близко по содержанию
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
Сквозь туман ИИ: архитектурное решение, от которого зависят следующие 24 месяца безопасности агентного ИИ
Ezra Tanzer, Manoj Nair, Randall Degges
AI Engineer World's Fair 2026
Близко по содержанию
Эксплойты теперь опережают патчи: безопасность open source в эпоху ИИ
Близко по содержанию

