Эффективные гибридные запросы к контексту для grounding LLM
AI Engineer Summit 2023
Загружаем страницу…
Как защитить AI-системы, данные и пользователей: prompt injection и guardrails, права и секреты агентов, sandbox и безопасное исполнение кода.
Агент с доступом к почте, коду и платёжным системам открывает атаки, которых у обычных приложений не было. Спикеры разбирают реальные атаки на агентов, случай, когда валидный ключ позволил агенту удалить продакшен, утечки секретов и «смертельную триаду», когда у одного агента есть приватные данные, недоверенный ввод и канал наружу.
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
Чаще всего это prompt injection через данные, которые читает агент, утечка секретов и приватных данных, лишние права и выполнение опасных команд. Ущерб растёт вместе с тем, что агент может сделать сам, поэтому защита начинается с ограничения прав.
Термин Simon Willison. Агент опасен, когда у него одновременно есть доступ к приватным данным, он читает недоверенный контент и может отправлять данные наружу. Атакующий через контент заставляет агента вынести данные. Убрать хотя бы одно из трёх условий надёжнее, чем фильтровать ввод.
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023