← Каталог

Почему мы всё ещё управляем AI agents как программным обеспечением?

Why Are We Still Governing AI Agents Like Software? - Tim Tyler, Gravitee

Управлять AI-агентами одними протоколами и стандартами недостаточно: их нужно назначать, ограничивать полномочиями и проверять по результатам, как сотрудников.

  • Уникальная идентичность и спонсор — каждый агент получает ID в общем реестре, а за его цели, расходы и сбои отвечает названный человек.
  • Роль отдельно от миссии — роль с обязанностями, бюджетом и критериями успеха задаёт человек и меняет её редко, а миссия описывает, что агент делает в конкретный момент, например при вызове MCP-инструмента.
  • Полномочия не расширяются по цепочке — в примере делегирования агент возвращает наверх только те данные, которые есть у всех участников цепочки.
  • Правила и намерения оцениваются по-разному — детерминированные правила, например «никогда не утверждает платёж», проверяются жёстко, а вероятностные намерения оцениваются по уверенности. Иллюстративные пороги: при уверенности ниже 50% передать решение человеку, ниже 20% блокировать.

Кому полезно: тем, кто выпускает агентов с доступом к финансам или внутренним системам и хочет понять, как распределить ответственность и контроль.

Статья по теме

На какие вопросы отвечает доклад

  • Как назначить AI-агенту уникальную идентичность и ответственного человека?

    Каждому агенту выдают уникальный ID в общем реестре и назначают человека-спонсора, который отвечает за его цель, расходы и сбои. Роль задаёт спонсор, а миссию агент определяет во время работы.

    ▶ 2:27Назначение: идентичность, команда и куратор-человек
  • Как не дать агенту в цепочке делегирования передать лишние данные?

    Область доступа не растёт вдоль цепочки: агент возвращает наверх только те данные, которые есть у всех участников. В примере агент с доступом D, E, F возвращает наверх лишь D, общий для всей цепочки.

    ▶ 7:32Полномочия и границы делегирования
  • Как совместить жёсткие правила и вероятностные критерии для поведения агента?

    Детерминированные правила задают нижнюю границу, например запрет писать во что-либо, кроме ledger, а намерения, как правильное сопоставление счёта, оцениваются с уровнем уверенности. Встроенное в модель выравнивание спонсор изменить не может.

    ▶ 9:32Унаследованное согласование и правила, заданные куратором
  • Как оценивать, успешно ли агент выполняет свою роль, а не только держится в границах?

    Используют scorecard: правила проверяют, что агент не выходит за полномочия, а намерения оценивают по качеству, например по точности сопоставления счетов и времени сверки.

    ▶ 11:02Администрирование: соответствие требованиям и показатели успеха
  • Что делать с действиями агента, когда уверенность в их корректности низкая?

    Иллюстративные пороги связывают уверенность с действиями: при высокой уверенности контент редактируют, ниже 50% эскалируют человеку, ниже 20% блокируют. Повторные нарушения ведут к ограничению доступа и приостановке агента.

    ▶ 14:21Обжалование, эскалация и наставничество человека
  • Как контролировать агента, который принимает решения постоянно, если квартальных ревью недостаточно?

    Guardian агенты непрерывно проверяют модель, входящий контекст и результаты работы на машинной скорости. Квартальное ревью, по словам спикера, запаздывает на огромное число решений.

    ▶ 13:31Агенты-наблюдатели и непрерывный контроль

Главы

Похожие доклады