· AI Engineer World's Fair 2026
Как секреты утекают через AI agents (и как это остановить)
How Secrets Leak Through AI Agents (and How to Stop It) — Venice AI
Приватность агентной системы определяется всем её путём: утечки идут через логи, секреты в контексте модели и вызовы инструментов, а песочница их не закрывает.
- Секреты вне контекста модели — credentials из vault лучше подключать к слою исполнения, а не передавать в reasoning layer, где они могут попасть в логи, вызовы инструментов или обучающие данные.
- Хэши и отзываемые handles — идентификаторы пользователей для rate limiting хранятся хэшами, доступ к ресурсам выдаётся через handle, который можно отозвать. Ключ шифрования делится на две половины, поэтому одна скомпрометированная половина данные не раскроет.
- Узкий набор инструментов — из MCP-сервера с 15–20 инструментами обычно нужен один, и меньше инструментов означает меньше поверхности для утечки и более короткий контекст, по словам спикера, это улучшает работу агента.
- Песочница не полная защита — при доступе агента в интернет данные можно вынести через внешний API, поэтому нужны мониторинг разрешений и контроль над runtime. Confidential inference с аттестацией в TEE даёт проверяемую изоляцию, а шифрование tool calls спикер назвал нерешённой задачей.
Кому полезно: тем, кто подключает секреты и внешние инструменты к агентам в продакшене.
Статья по теме
На какие вопросы отвечает доклад
Как не отдавать API-ключи и пароли из vault самой LLM в агенте?
Подключать хранилище секретов к agent runtime, а не к reasoning-слою: runtime становится детерминированным execution layer, и модель секреты не получает. По словам спикера, так безопаснее логиниться на сайты через browser-инструмент.
▶ 10:46Учётные данные в слое исполненияПочему логи агента сохраняют промпты и секреты и как от этого уйти?
Логи трейсов и сообщений по умолчанию могут сохранять промпты и секреты, включая персональные данные. По словам спикера, Venice промпты и переписки не хранит, поэтому для запросов к ней этот риск снимается.
▶ 5:02Логирование и раскрытие секретовКак агент с кучей MCP-инструментов может утечь данные через tool call?
Если агенту доступно 15–20 инструментов, а API-ключ передан в контекст, ключ может уйти через tool call на сервер злоумышленника. Нужно сужать набор инструментов до необходимых и ставить классификатор prompt injection перед агентом.
▶ 8:31Ограничение области действия и проверка на prompt injectionПочему песочница с VM или Firecracker не защищает агента от утечки данных?
Если у агента есть доступ в интернет, данные могут уйти через внешние API даже из песочницы. Спикер советует мониторить разрешения и владеть runtime: собственные шаги, наблюдаемость и инструменты.
▶ 12:16Ограничения sandbox и ответственность за среду выполненияКак шифровать результаты генерации так, чтобы даже команда не могла их прочитать?
Ключ шифрования делится на две половины, чтение и запись, и для расшифровки нужны обе. По словам спикера, ни атакующий, ни команда при взломе аккаунтов не получат данные.
▶ 7:01Хешированные идентификаторы, разделённые ключи и дескрипторыКак проверить, что LLM-инференс выполнен в защищённом окружении?
Инференс выполняется в trusted execution environment, а ответ возвращает аттестацию, которую проверяют отдельным верификатором. По словам спикера, так можно криптографически подтвердить изоляцию агента на уровне reasoning.
▶ 13:13Конфиденциальные вычисления и аттестации
Главы
Похожие доклады
Реальные атаки на AI-агентов и меры, которые могли бы их предотвратить
Близко по содержанию
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию
Что, если сеть станет песочницей?
AI Engineer Europe 2026
Близко по содержанию
Режим YOLO без риска: microVM-песочницы для любых агентов
AI Engineer Code 2025
Близко по содержанию

