← Каталог

· AI Engineer NYC 2026 Online Talks

Agent работает. Но доверяет ли ему кто-нибудь?

The Agent Works. Does Anyone Trust It? — Michele Grant, Leading at Scale

Агент получает доверие, когда измеримая ценность, назначенный владелец и доказательства опережают расширение его автономии, а не совпадение с отчётами аналитиков.

  • Базовые линии до запуска — каждая метрика, например время подготовки отчёта или время обнаружения сбоя, измеряется до деплоя. Высвобожденное время засчитывается только после перераспределения и за вычетом затрат на compute, лицензии и проверку.
  • Ошибки рядом с ценностью — пропущенные существенные проблемы, серьёзность ошибок и override rate отслеживаются наравне с ценностными метриками. По словам спикера, падение override rate может означать ослабление проверки, поэтому нужна независимая выборка.
  • Детерминированная математика и журнал решений — сверки и расчёты отклонений должны выполняться кодом, одобренным финансами, а не генерироваться LLM. Лог фиксирует входные данные, вызовы инструментов, версии промпта и модели и подпись проверяющего; любое изменение промпта, модели или source API требует повторной валидации.
  • Четыре стадии автономии — от shadow mode через полную проверку черновиков и выборочный контроль к ревью только исключений с независимой выборкой. Переход между стадиями решает руководящий комитет по проекту, опираясь на scorecard.

Кому полезно: тем, кто выводит агентов в процессы с финансовой отчётностью или контролем рисков и отвечает за их запуск.

Статья по теме

Главы

Похожие доклады