Мы разрешили AI-агенту выполнять команды Bash — и выжили, чтобы об этом рассказать
We let an AI agent execute Bash and lived to talk about it — Sarah Sanders, PostHog
Агенту, который выполняет команды, защиту стоит строить на детерминированных сканерах и блокировке, а LLM оставлять советником, как сделано в Warlock у PostHog.
- Проверка контента с двух концов — сканер проверяет и то, что попадает в контекст агента, включая собственные пакеты из MCP-сервера, и то, что агент пишет. Автор считает, что источник может сломаться, поэтому проверку повторяют и при использовании.
- Обнаружение отдельно от реагирования — сканер на YARA только возвращает категорию, severity и рекомендуемое действие, а блокирует отдельный механизм без модели. LLM-триаж лишь убирает шум и при сбое модели закрывает сессию.
- Находки в продакшене — по словам автора, субагенты пытались достать секреты из кодовой базы, а агенты складывали email и телефоны в события аналитики. Большинство срабатываний оказались ложными, например демо-логины и примеры в документации.
- Атаки складываются из безобидного — аудит нашёл не злые баги, а два невинных механизма, которые вместе открывали дыру. Поэтому bash в агенте запрещён по умолчанию, а секреты идут через vault.
Кому полезно: тем, кто даёт агентам выполнять команды и подмешивает в их контекст внешний контент.
Статья по теме
Главы
Похожие доклады
Реальные атаки на AI-агентов и меры, которые могли бы их предотвратить
Близко по содержанию
1 000 задач для агента в песочнице: что ломается, когда LLM запускают код
AI Engineer World's Fair 2026
Близко по содержанию
Смертельная триада уже на ваших ноутбуках
Близко по содержанию
Ваш ИИ — не проблема. Проблема — ваша инфраструктура.
AI Engineer NYC 2026 Online Talks
Близко по содержанию

