Баланс инноваций, безопасности и защиты данных
Balancing Innovation with Security & Safety
Агенты безопасны для продакшена только при трёх слоях контроля: оценка рисков перед выпуском, принудительная авторизация с передачей идентичности пользователя и мониторинг в реальном времени.
- Risk score перед выпуском — спикер предлагает проверять агента тестами на prompt injection, утечки данных и зацикливание, а также сканировать зависимости и CVE; по итогам получается risk score, и агент от стороннего вендора проходит тот же порог.
- Один процесс — главный риск — в большинстве фреймворков агент, задачи и инструменты работают в одном процессе, поэтому инструмент получает сервисные учётные данные с правами администратора и может добраться до чужих секретов.
- Идентичность пользователя до конца цепочки — авторизация должна проверяться на каждом шаге вплоть до базы или API: обычный сотрудник не должен получать через агента чужие данные о зарплате.
- Пороги для человека — агент может сам одобрять действия до заданного лимита, а выше него подключается human-in-the-loop; при большом числе запросов спикер советует считать долю отказов и создавать алерт при превышении порога.
Кому полезно: тем, кто выводит агентов с доступом к персональным или регулируемым данным в продакшен.
Статья по теме
На какие вопросы отвечает доклад
Почему агенты, которые работают в одном процессе, опасны для сервисных учётных данных?
Агенты, инструменты и сторонние библиотеки обычно работают в одном процессе с сервисными учётными записями, которые часто имеют права суперадминистратора. Поэтому один инструмент может получить доступ к чужим учётным данным в том же процессе.
▶ 0:53Архитектура агентов и риски безопасности общих учётных данныхКак проверить безопасность AI-агента перед выводом в продакшен?
Нужны оценки безопасности, которые дают общий балл риска: проверка на prompt injection, утечки данных и зацикливание агента, сканирование зависимостей и CVE. По этому баллу решают, можно ли выводить агента в продакшен, в том числе стороннего.
▶ 6:08Оценки рисков, сканирование уязвимостей и безопасность моделейКак агенту не отдавать данные, к которым у текущего пользователя нет доступа?
Идентичность пользователя передаётся по всей цепочке от агента до инструментов и баз данных, а политики доступа применяются в точке последнего обращения к данным. Так агент не выходит за права того, от чьего имени работает.
▶ 9:19Контроль доступа с учётом роли и утечки данныхКогда агент должен передать действие человеку на подтверждение?
Агент может одобрять действия сам в пределах заданных порогов, а если действие выходит за лимит, автоматически подключается человек по схеме human-in-the-loop. Проверку одобрений может выполнять и другой агент.
▶ 12:31Workflow согласования, пороговые значения и human-in-the-loopКак заметить, что агент в продакшене начал вести себя неправильно?
Считают долю отказов и задают пороги, при превышении которых срабатывает алерт, а также отслеживают персональные данные в ответах. Спикер считает, что обнаружение аномалий в поведении агентов пока далеко не готово.
▶ 12:31Workflow согласования, пороговые значения и human-in-the-loop
Главы
Похожие доклады
Файрвол для защиты agents
AI Engineer World's Fair 2026
Близко по содержанию
Протокол аутентификации для AI agents
AI Engineer World's Fair 2026
Близко по содержанию
Как создавать надёжный ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Ваш корпоративный мозг раскроет секреты: как мы защитили его для крупных банков
Близко по содержанию

