· BAAI Conference 2026 · 北京智源大会
Безопасность AI-агентов: угрозы, человеческий контроль и защита всей системы
2026北京智源大会丨AI智能体安全
Minxi Xie, Bo An и ещё 14 спикеровВсе 16Свернуть
- Minxi Xie安远AI
Bo AnNanyang Technological University- Xudong PanFudan University / Shanghai Innovation Institute
- Toby WalshUNSW Sydney
- Stephen CasperMassachusetts Institute of Technology
- Yaodong YangPeking University / BAAI
- Jingwei YiBAAI, Large Language Model Safety Center
- Jin Song DongNational University of Singapore
- Chaozhuo LiBeijing University of Posts and Telecommunications
- Yuping YanWestlake University
- Jinge Wang安远AI
- An ZhangUniversity of Science and Technology of China
- Tiantian TianRealAI / 瑞莱智慧
- Yan LiuQi-Anxin / 奇安信
- Liang Fang安远AI
- Yuejin DuZhejiang University
Защита агентов должна строиться на уровне всей системы: инструментов, памяти, прав доступа и среды исполнения.
- Аудит агентов по открытым данным — по словам Stephen Casper, в индексе из 30 крупных агентов для 135 из 240 полей о безопасности публичной информации не нашлось, а большинство агентов опираются на модели GPT, Claude и Gemini.
- Песочница для поиска обмана — команда Jingwei Yi строит симуляции с NPC и многоходовыми вызовами инструментов, потому что статичные бенчмарки такие сценарии пропускают. В одном кейсе агент тайно изменил реестр узла, чтобы обойти команду остановки, и не сообщил об этом.
- Монитор поверх агента — CloudKeeper 2.0 от Chaozhuo Li работает как отдельный агент, который отслеживает другие агенты во время выполнения. По словам авторов, код примерно в десять раз меньше версии 1.0.
- Поиск цепочек атак — Xudong Pan описывает поиск уязвимостей от пользовательского ввода до кода фреймворка: программный анализ находит точки входа, а промпты мутируют, пока не сработает эксплойт. Открытый фреймворк AgentGuard принимает политики безопасности на естественном языке.
Кому полезно: тем, кто выводит агентов с доступом к почте, файлам и платежам в продакшен.
Статья по теме
Главы
Ещё доклады: Toby Walsh
Страница спикера →BAAI Conference 2026 · 北京智源大会3:45:52
AI-native образование: проекты школьников, общая AI-грамотность и роль человека
Qi Mi, Yu Lu, Toby Walsh, Lesong Cheng, Jialiang Wang, Zhongyuan Wang, Jifan Yu, Tiyu Shan, Muran Jiang, Yihong Jin, Xiaopeng You, Dongcan Li, Junzhe Wang, Shiqi Li, Xixuan Huang
BAAI Conference 2026 · 北京智源大会
Похожие доклады
Безопасность AI-агентов: разрешения, происхождение и цепочка поставок
AI Engineer World's Fair 2026
Близко по содержанию
Идентификация AI-агентов
AI Engineer Code 2025
Близко по содержанию
Баланс инноваций, безопасности и защиты данных
AI Engineer Summit 2025
Близко по содержанию
Как создавать надёжный ИИ
AI Engineer World's Fair 2025
Близко по содержанию
