← Каталог

· AI Engineer World's Fair 2026

Учить ИИ находить настоящие уязвимости

Teaching AI to Find Real Vulnerabilities — Prof. David Brumley, Bugcrowd

RL-среды для кибербезопасности дают модели честный сигнал, только если задача не сводится к одному багу, а оценка детерминированная.

  • Аудит всех уязвимостей — модель ищет и доказывает все баги программы, и их число заранее неизвестно. Качество считается через precision и recall, поэтому модель не застревает на самом простом баге, как по словам спикера происходит в CyBench и CyberGym.
  • Детерминированная проверка — уникальность уязвимостей определяется по stack backtrace, как в системах отчётов о падениях, без LLM-as-a-judge. По словам спикера, LLM-судьи всегда считают, что взлом удался.
  • Падение не равно взлому — на 41 уязвимости V8 GPT-5.5 и Mythos вызывают crash в 39 случаях, но выполнение произвольного кода удалось Mythos в 30 случаях (73%), GPT в 68%. Лестница из 16 ступеней показывает, где модель застревает.
  • Новые уязвимости для обучения — среды строятся на zero-day из открытого кода, чтобы модель не могла просто запомнить эксплойт. По словам автора, партнёрам поставляется до 10 000 сред в месяц.

Кому полезно: тем, кто строит RL-среды или бенчмарки для оценки security-способностей LLM.

Статья по теме

Главы

Похожие доклады