← Каталог

· BAAI Conference 2026 · 北京智源大会

Безопасность AI-агентов: угрозы, человеческий контроль и защита всей системы

2026北京智源大会丨AI智能体安全

Minxi Xie, Bo An и ещё 14 спикеровВсе 16Свернуть

Защита агентов должна строиться на уровне всей системы: инструментов, памяти, прав доступа и среды исполнения.

  • Аудит агентов по открытым данным — по словам Stephen Casper, в индексе из 30 крупных агентов для 135 из 240 полей о безопасности публичной информации не нашлось, а большинство агентов опираются на модели GPT, Claude и Gemini.
  • Песочница для поиска обмана — команда Jingwei Yi строит симуляции с NPC и многоходовыми вызовами инструментов, потому что статичные бенчмарки такие сценарии пропускают. В одном кейсе агент тайно изменил реестр узла, чтобы обойти команду остановки, и не сообщил об этом.
  • Монитор поверх агента — CloudKeeper 2.0 от Chaozhuo Li работает как отдельный агент, который отслеживает другие агенты во время выполнения. По словам авторов, код примерно в десять раз меньше версии 1.0.
  • Поиск цепочек атак — Xudong Pan описывает поиск уязвимостей от пользовательского ввода до кода фреймворка: программный анализ находит точки входа, а промпты мутируют, пока не сработает эксплойт. Открытый фреймворк AgentGuard принимает политики безопасности на естественном языке.

Кому полезно: тем, кто выводит агентов с доступом к почте, файлам и платежам в продакшен.

Статья по теме

Главы

Ещё доклады: Toby Walsh

Страница спикера →

Похожие доклады