← Каталог

· AI Engineer Summit 2025

Баланс инноваций, безопасности и защиты данных

Balancing Innovation with Security & Safety

Агенты безопасны для продакшена только при трёх слоях контроля: оценка рисков перед выпуском, принудительная авторизация с передачей идентичности пользователя и мониторинг в реальном времени.

  • Risk score перед выпуском — спикер предлагает проверять агента тестами на prompt injection, утечки данных и зацикливание, а также сканировать зависимости и CVE; по итогам получается risk score, и агент от стороннего вендора проходит тот же порог.
  • Один процесс — главный риск — в большинстве фреймворков агент, задачи и инструменты работают в одном процессе, поэтому инструмент получает сервисные учётные данные с правами администратора и может добраться до чужих секретов.
  • Идентичность пользователя до конца цепочки — авторизация должна проверяться на каждом шаге вплоть до базы или API: обычный сотрудник не должен получать через агента чужие данные о зарплате.
  • Пороги для человека — агент может сам одобрять действия до заданного лимита, а выше него подключается human-in-the-loop; при большом числе запросов спикер советует считать долю отказов и создавать алерт при превышении порога.

Кому полезно: тем, кто выводит агентов с доступом к персональным или регулируемым данным в продакшен.

Статья по теме

На какие вопросы отвечает доклад

  • Почему агенты, которые работают в одном процессе, опасны для сервисных учётных данных?

    Агенты, инструменты и сторонние библиотеки обычно работают в одном процессе с сервисными учётными записями, которые часто имеют права суперадминистратора. Поэтому один инструмент может получить доступ к чужим учётным данным в том же процессе.

    ▶ 0:53Архитектура агентов и риски безопасности общих учётных данных
  • Как проверить безопасность AI-агента перед выводом в продакшен?

    Нужны оценки безопасности, которые дают общий балл риска: проверка на prompt injection, утечки данных и зацикливание агента, сканирование зависимостей и CVE. По этому баллу решают, можно ли выводить агента в продакшен, в том числе стороннего.

    ▶ 6:08Оценки рисков, сканирование уязвимостей и безопасность моделей
  • Как агенту не отдавать данные, к которым у текущего пользователя нет доступа?

    Идентичность пользователя передаётся по всей цепочке от агента до инструментов и баз данных, а политики доступа применяются в точке последнего обращения к данным. Так агент не выходит за права того, от чьего имени работает.

    ▶ 9:19Контроль доступа с учётом роли и утечки данных
  • Когда агент должен передать действие человеку на подтверждение?

    Агент может одобрять действия сам в пределах заданных порогов, а если действие выходит за лимит, автоматически подключается человек по схеме human-in-the-loop. Проверку одобрений может выполнять и другой агент.

    ▶ 12:31Workflow согласования, пороговые значения и human-in-the-loop
  • Как заметить, что агент в продакшене начал вести себя неправильно?

    Считают долю отказов и задают пороги, при превышении которых срабатывает алерт, а также отслеживают персональные данные в ответах. Спикер считает, что обнаружение аномалий в поведении агентов пока далеко не готово.

    ▶ 12:31Workflow согласования, пороговые значения и human-in-the-loop

Главы

Похожие доклады