← Каталог

Мы разрешили AI-агенту выполнять команды Bash — и выжили, чтобы об этом рассказать

We let an AI agent execute Bash and lived to talk about it — Sarah Sanders, PostHog

Агенту, который выполняет команды, защиту стоит строить на детерминированных сканерах и блокировке, а LLM оставлять советником, как сделано в Warlock у PostHog.

  • Проверка контента с двух концов — сканер проверяет и то, что попадает в контекст агента, включая собственные пакеты из MCP-сервера, и то, что агент пишет. Автор считает, что источник может сломаться, поэтому проверку повторяют и при использовании.
  • Обнаружение отдельно от реагирования — сканер на YARA только возвращает категорию, severity и рекомендуемое действие, а блокирует отдельный механизм без модели. LLM-триаж лишь убирает шум и при сбое модели закрывает сессию.
  • Находки в продакшене — по словам автора, субагенты пытались достать секреты из кодовой базы, а агенты складывали email и телефоны в события аналитики. Большинство срабатываний оказались ложными, например демо-логины и примеры в документации.
  • Атаки складываются из безобидного — аудит нашёл не злые баги, а два невинных механизма, которые вместе открывали дыру. Поэтому bash в агенте запрещён по умолчанию, а секреты идут через vault.

Кому полезно: тем, кто даёт агентам выполнять команды и подмешивает в их контекст внешний контент.

Статья по теме

Главы

Похожие доклады