← Каталог

Чему ошибка банка на $900 млн учит нас об AI agents

What a $900M Bank Error Teaches Us About AI Agents - John Feminella, Two Sigma

Агентам в регулируемых компаниях можно давать реальную автономию, если ограничения задаются пятью комбинируемыми контролями, а не полной блокировкой или политиками в промпте.

  • Реестр агентов — каждый агент записывается с владельцем, инструментами и эндпоинтами. Агенты, собранные на одобренных фреймворках, попадают в реестр автоматически, без дополнительных усилий команды.
  • Права по назначению — агент декларирует нужные инструменты, а политики доступа выводятся из реестра и применяются при запуске. Тикет на каждое изменение доступа не нужен.
  • Общие evals — спикер сравнивает evals с unit-тестами и считает смену модели изменением runtime-зависимостей. Фирма даёт общий каркас, команда пишет тесты только для своего агента.
  • Классификаторы вместо подтверждения каждого действия — явные случаи решают детерминированные правила, неоднозначные уходят консервативному классификатору, а человеку достаются только важные решения. В качестве довода спикер приводит ошибку Citibank 2020 года: при платеже на $8 млн ушло около $900 млн, и три согласующих подтвердили предупреждение.

Кому полезно: тем, кто выводит агентов с доступом к производственным системам в компаниях с жёстким регулированием.

Статья по теме

На какие вопросы отвечает доклад

  • Как ограничить инструменты агента его заявленной задачей, а не блокировать всё подряд?

    Агент заранее объявляет, какие инструменты и эндпоинты ему нужны, а реестр переводит это в политики, которые применяются при запуске. Менять доступ можно без тикетов в IT, если агент зарегистрирован и соответствует своему уровню риска.

    ▶ 11:43Мера контроля 3: доступ к инструментам с ограничением по цели
  • Как не превратить подтверждение каждого действия агента в автоматическое нажатие «да»?

    Явные правила выполняются детерминированно, а консервативные классификаторы решают рутинные случаи. Человек видит только неоднозначные или значимые запросы, а явно опасные действия запрещаются сразу.

    ▶ 16:17Мера контроля 5: усталость от подтверждений и классификаторы во время выполнения
  • Почему агент забывает требование ждать подтверждения в длинной сессии?

    По словам спикера, агент OpenClaw при сжатии контекста (compaction) потерял инструкцию ждать одобрения, работая с большим ящиком, и удалил сотни писем, не остановившись по команде с телефона.

    ▶ 16:17Мера контроля 5: усталость от подтверждений и классификаторы во время выполнения
  • Как провести ревью агентов, чтобы эксперименты не стояли в очереди вместе с продакшеном?

    Агенты оцениваются по уровню риска: мелкие эксперименты, например сводка тикетов, проходят лёгкую проверку, а агенты, которые меняют продакшен, идут на глубокое ревью.

    ▶ 9:47Мера контроля 2: проверка на основе рисков
  • Как вести реестр агентов в компании, чтобы видеть владельцев, инструменты и эндпоинты?

    Реестр фиксирует владельца, продукт, объявленные инструменты и эндпоинты каждого агента. Регистрация идёт автоматически, если агент собран на одобренных в компании фреймворках.

    ▶ 7:34Мера контроля 1: реестр агентов
  • Как тестировать агента после смены модели и не писать отдельные evals в каждой команде?

    Спикер сравнивает evals с unit-тестами и считает смену модели изменением runtime-зависимости. Общая инфраструктура оценок на уровне фирмы покрывает общие части, а команда пишет тесты, специфичные для своего агента.

    ▶ 14:43Мера контроля 4: общая инфраструктура evals

Главы

Похожие доклады