300 agents, 60 человек: как мы обеспечили безопасность собственных AI agents
300 Agents, 60 People: How We Secured Our Own AI Agents - Aiden Sochowski, Runlayer
Безопасность и расходы на агентов в компании держатся на мониторинге сессий и вызовов инструментов, потому что статичная блокировка инструментов не ловит риск, который возникает внутри сессии.
- Инвентаризация агентов — в компании из 50–60 человек, по словам спикера, каждый день работают более 300 агентов, многие запускаются без участия пользователя. Шлюз, который логирует сессии и вызовы инструментов, показывает, к каким системам и действиям имеет доступ каждый агент.
- Проверка вызовов по контексту — атаки вроде эксфильтрации данных через письмо или манипуляции в ревью PR растягиваются на всю сессию. По словам спикера, команда обучила классификаторы, которые сверяют каждый вызов инструмента с целью сессии и с тем, что агенту разрешено делать.
- Сужение прав по истории вызовов — исторические данные помогают находить аномальные запуски и предлагать урезать права узкоспециализированных агентов, например рекрутингового бота с доступом к ATS и календарю. Общие системы при этом надо описать явно и жёстко ограничить запись в них, иначе вредоносный контент перейдёт от одного агента к другому.
- Расходы на токены — MCP-сервер, написанный через vibe coding и без тестов, с повторяющимися ошибками форматирования раздул затраты, а переход на более дорогую модель за неделю увеличил их в разы. Помогают мониторинг ошибок, rate limits, бюджеты и обоснование дорогих моделей.
Кому полезно: тем, кто уже запустил агентов внутри компании и не видит, что они делают с данными и деньгами.
Статья по теме
Главы
Похожие доклады
Реальные атаки на AI-агентов и меры, которые могли бы их предотвратить
Близко по содержанию
Ваш ИИ — не проблема. Проблема — ваша инфраструктура.
AI Engineer NYC 2026 Online Talks
Близко по содержанию
Безопасность агентов, исполняющих код
AI Engineer World's Fair 2025
Близко по содержанию
Как безопасно разрешить AI agents регистрироваться в приложении
Близко по содержанию

