Эволюция мозга и AI: world models, непрерывное обучение и понимание человека
BAAI Conference 2026 · 北京智源大会
Загружаем страницу…
Угрозы для AI-систем и защита от них: prompt injection, guardrails, приватность, комплаенс, правила использования ИИ в компании и агенты в кибербезопасности.
Спикеры разбирают реальные атаки на агентов и меры, которые могли бы их остановить, и показывают защиту в реальном времени. Регулируемые отрасли представлены банками и страховщиками: там безопасность и governance решают, пойдёт ли AI-проект в продакшен вообще. Есть доклады и про обратную сторону, где LLM защищает исходный код и ищет уязвимости.
BAAI Conference 2026 · 北京智源大会
Minxi Xie, Bo An, Xudong Pan, Toby Walsh, Stephen Casper, Yaodong Yang, Jingwei Yi, Jin Song Dong, Chaozhuo Li, Yuping Yan, Jinge Wang, An Zhang, Tiantian Tian, Yan Liu, Liang Fang, Yuejin Du
BAAI Conference 2026 · 北京智源大会
Атака, при которой инструкции для модели прячут в данных: в письме, веб-странице, issue или документе. Модель не отличает данные от команд и выполняет чужие указания. Для агента с инструментами это опаснее, чем для чат-бота.
Одним фильтром не защититься. Спикеры советуют ограничивать права агента, просить человека подтвердить опасные действия, держать недоверенный контент подальше от инструментов с доступом к данным и логировать всё, что агент делает.
Guardrails - проверки на входе и выходе модели: фильтр опасных запросов, проверка ответа на утечку данных, на формат, тему и политику компании. Их ставят вокруг модели, потому что одной инструкции в промпте мало.
Jiachun Chen, Tongqing Gao, Mazin Gilbert, Kai Wei, Yungui Zhang, Jiexin Guo, Ruoyi Qin, Lin Zhu, Bin Wang, Ku Wen, Tiejun Huang, Yang Min, Xinsheng Nan
BAAI Conference 2026 · 北京智源大会