Эволюция мозга и AI: world models, непрерывное обучение и понимание человека
BAAI Conference 2026 · 北京智源大会
Загружаем страницу…
Как защитить AI-системы, данные и пользователей: prompt injection и guardrails, права и секреты агентов, sandbox и безопасное исполнение кода.
Агент с доступом к почте, коду и платёжным системам открывает атаки, которых у обычных приложений не было. Спикеры разбирают реальные атаки на агентов, случай, когда валидный ключ позволил агенту удалить продакшен, утечки секретов и «смертельную триаду», когда у одного агента есть приватные данные, недоверенный ввод и канал наружу.
BAAI Conference 2026 · 北京智源大会
Minxi Xie, Bo An, Xudong Pan, Toby Walsh, Stephen Casper, Yaodong Yang, Jingwei Yi, Jin Song Dong, Chaozhuo Li, Yuping Yan, Jinge Wang, An Zhang, Tiantian Tian, Yan Liu, Liang Fang, Yuejin Du
BAAI Conference 2026 · 北京智源大会
Чаще всего это prompt injection через данные, которые читает агент, утечка секретов и приватных данных, лишние права и выполнение опасных команд. Ущерб растёт вместе с тем, что агент может сделать сам, поэтому защита начинается с ограничения прав.
Термин Simon Willison. Агент опасен, когда у него одновременно есть доступ к приватным данным, он читает недоверенный контент и может отправлять данные наружу. Атакующий через контент заставляет агента вынести данные. Убрать хотя бы одно из трёх условий надёжнее, чем фильтровать ввод.
Jiachun Chen, Tongqing Gao, Mazin Gilbert, Kai Wei, Yungui Zhang, Jiexin Guo, Ruoyi Qin, Lin Zhu, Bin Wang, Ku Wen, Tiejun Huang, Yang Min, Xinsheng Nan
BAAI Conference 2026 · 北京智源大会