← Каталог

300 agents, 60 человек: как мы обеспечили безопасность собственных AI agents

300 Agents, 60 People: How We Secured Our Own AI Agents - Aiden Sochowski, Runlayer

Безопасность и расходы на агентов в компании держатся на мониторинге сессий и вызовов инструментов, потому что статичная блокировка инструментов не ловит риск, который возникает внутри сессии.

  • Инвентаризация агентов — в компании из 50–60 человек, по словам спикера, каждый день работают более 300 агентов, многие запускаются без участия пользователя. Шлюз, который логирует сессии и вызовы инструментов, показывает, к каким системам и действиям имеет доступ каждый агент.
  • Проверка вызовов по контексту — атаки вроде эксфильтрации данных через письмо или манипуляции в ревью PR растягиваются на всю сессию. По словам спикера, команда обучила классификаторы, которые сверяют каждый вызов инструмента с целью сессии и с тем, что агенту разрешено делать.
  • Сужение прав по истории вызовов — исторические данные помогают находить аномальные запуски и предлагать урезать права узкоспециализированных агентов, например рекрутингового бота с доступом к ATS и календарю. Общие системы при этом надо описать явно и жёстко ограничить запись в них, иначе вредоносный контент перейдёт от одного агента к другому.
  • Расходы на токены — MCP-сервер, написанный через vibe coding и без тестов, с повторяющимися ошибками форматирования раздул затраты, а переход на более дорогую модель за неделю увеличил их в разы. Помогают мониторинг ошибок, rate limits, бюджеты и обоснование дорогих моделей.

Кому полезно: тем, кто уже запустил агентов внутри компании и не видит, что они делают с данными и деньгами.

Статья по теме

Главы

Похожие доклады