← Каталог

· AI Engineer World's Fair 2026

Как секреты утекают через AI agents (и как это остановить)

How Secrets Leak Through AI Agents (and How to Stop It) — Venice AI

Приватность агентной системы определяется всем её путём: утечки идут через логи, секреты в контексте модели и вызовы инструментов, а песочница их не закрывает.

  • Секреты вне контекста модели — credentials из vault лучше подключать к слою исполнения, а не передавать в reasoning layer, где они могут попасть в логи, вызовы инструментов или обучающие данные.
  • Хэши и отзываемые handles — идентификаторы пользователей для rate limiting хранятся хэшами, доступ к ресурсам выдаётся через handle, который можно отозвать. Ключ шифрования делится на две половины, поэтому одна скомпрометированная половина данные не раскроет.
  • Узкий набор инструментов — из MCP-сервера с 15–20 инструментами обычно нужен один, и меньше инструментов означает меньше поверхности для утечки и более короткий контекст, по словам спикера, это улучшает работу агента.
  • Песочница не полная защита — при доступе агента в интернет данные можно вынести через внешний API, поэтому нужны мониторинг разрешений и контроль над runtime. Confidential inference с аттестацией в TEE даёт проверяемую изоляцию, а шифрование tool calls спикер назвал нерешённой задачей.

Кому полезно: тем, кто подключает секреты и внешние инструменты к агентам в продакшене.

Статья по теме

На какие вопросы отвечает доклад

  • Как не отдавать API-ключи и пароли из vault самой LLM в агенте?

    Подключать хранилище секретов к agent runtime, а не к reasoning-слою: runtime становится детерминированным execution layer, и модель секреты не получает. По словам спикера, так безопаснее логиниться на сайты через browser-инструмент.

    ▶ 10:46Учётные данные в слое исполнения
  • Почему логи агента сохраняют промпты и секреты и как от этого уйти?

    Логи трейсов и сообщений по умолчанию могут сохранять промпты и секреты, включая персональные данные. По словам спикера, Venice промпты и переписки не хранит, поэтому для запросов к ней этот риск снимается.

    ▶ 5:02Логирование и раскрытие секретов
  • Как агент с кучей MCP-инструментов может утечь данные через tool call?

    Если агенту доступно 15–20 инструментов, а API-ключ передан в контекст, ключ может уйти через tool call на сервер злоумышленника. Нужно сужать набор инструментов до необходимых и ставить классификатор prompt injection перед агентом.

    ▶ 8:31Ограничение области действия и проверка на prompt injection
  • Почему песочница с VM или Firecracker не защищает агента от утечки данных?

    Если у агента есть доступ в интернет, данные могут уйти через внешние API даже из песочницы. Спикер советует мониторить разрешения и владеть runtime: собственные шаги, наблюдаемость и инструменты.

    ▶ 12:16Ограничения sandbox и ответственность за среду выполнения
  • Как шифровать результаты генерации так, чтобы даже команда не могла их прочитать?

    Ключ шифрования делится на две половины, чтение и запись, и для расшифровки нужны обе. По словам спикера, ни атакующий, ни команда при взломе аккаунтов не получат данные.

    ▶ 7:01Хешированные идентификаторы, разделённые ключи и дескрипторы
  • Как проверить, что LLM-инференс выполнен в защищённом окружении?

    Инференс выполняется в trusted execution environment, а ответ возвращает аттестацию, которую проверяют отдельным верификатором. По словам спикера, так можно криптографически подтвердить изоляцию агента на уровне reasoning.

    ▶ 13:13Конфиденциальные вычисления и аттестации

Главы

Похожие доклады