Почему мы всё ещё управляем AI agents как программным обеспечением?
Why Are We Still Governing AI Agents Like Software? - Tim Tyler, Gravitee
Управлять AI-агентами одними протоколами и стандартами недостаточно: их нужно назначать, ограничивать полномочиями и проверять по результатам, как сотрудников.
- Уникальная идентичность и спонсор — каждый агент получает ID в общем реестре, а за его цели, расходы и сбои отвечает названный человек.
- Роль отдельно от миссии — роль с обязанностями, бюджетом и критериями успеха задаёт человек и меняет её редко, а миссия описывает, что агент делает в конкретный момент, например при вызове MCP-инструмента.
- Полномочия не расширяются по цепочке — в примере делегирования агент возвращает наверх только те данные, которые есть у всех участников цепочки.
- Правила и намерения оцениваются по-разному — детерминированные правила, например «никогда не утверждает платёж», проверяются жёстко, а вероятностные намерения оцениваются по уверенности. Иллюстративные пороги: при уверенности ниже 50% передать решение человеку, ниже 20% блокировать.
Кому полезно: тем, кто выпускает агентов с доступом к финансам или внутренним системам и хочет понять, как распределить ответственность и контроль.
Статья по теме
На какие вопросы отвечает доклад
Как назначить AI-агенту уникальную идентичность и ответственного человека?
Каждому агенту выдают уникальный ID в общем реестре и назначают человека-спонсора, который отвечает за его цель, расходы и сбои. Роль задаёт спонсор, а миссию агент определяет во время работы.
▶ 2:27Назначение: идентичность, команда и куратор-человекКак не дать агенту в цепочке делегирования передать лишние данные?
Область доступа не растёт вдоль цепочки: агент возвращает наверх только те данные, которые есть у всех участников. В примере агент с доступом D, E, F возвращает наверх лишь D, общий для всей цепочки.
▶ 7:32Полномочия и границы делегированияКак совместить жёсткие правила и вероятностные критерии для поведения агента?
Детерминированные правила задают нижнюю границу, например запрет писать во что-либо, кроме ledger, а намерения, как правильное сопоставление счёта, оцениваются с уровнем уверенности. Встроенное в модель выравнивание спонсор изменить не может.
▶ 9:32Унаследованное согласование и правила, заданные кураторомКак оценивать, успешно ли агент выполняет свою роль, а не только держится в границах?
Используют scorecard: правила проверяют, что агент не выходит за полномочия, а намерения оценивают по качеству, например по точности сопоставления счетов и времени сверки.
▶ 11:02Администрирование: соответствие требованиям и показатели успехаЧто делать с действиями агента, когда уверенность в их корректности низкая?
Иллюстративные пороги связывают уверенность с действиями: при высокой уверенности контент редактируют, ниже 50% эскалируют человеку, ниже 20% блокируют. Повторные нарушения ведут к ограничению доступа и приостановке агента.
▶ 14:21Обжалование, эскалация и наставничество человекаКак контролировать агента, который принимает решения постоянно, если квартальных ревью недостаточно?
Guardian агенты непрерывно проверяют модель, входящий контекст и результаты работы на машинной скорости. Квартальное ревью, по словам спикера, запаздывает на огромное число решений.
▶ 13:31Агенты-наблюдатели и непрерывный контроль
Главы
Похожие доклады
ИТ-администрирование AI-рабочей силы
AI Engineer World's Fair 2026
Близко по содержанию
Кто стоит за этим запросом? Основы Agent Auth
Близко по содержанию
Как безопасно разрешить AI agents регистрироваться в приложении
Близко по содержанию
Ваш агент — смертоносная триада (и что с этим делать)
AI Engineer NYC 2026 Online Talks
Близко по содержанию

