Чему ошибка банка на $900 млн учит нас об AI agents
What a $900M Bank Error Teaches Us About AI Agents - John Feminella, Two Sigma
Агентам в регулируемых компаниях можно давать реальную автономию, если ограничения задаются пятью комбинируемыми контролями, а не полной блокировкой или политиками в промпте.
- Реестр агентов — каждый агент записывается с владельцем, инструментами и эндпоинтами. Агенты, собранные на одобренных фреймворках, попадают в реестр автоматически, без дополнительных усилий команды.
- Права по назначению — агент декларирует нужные инструменты, а политики доступа выводятся из реестра и применяются при запуске. Тикет на каждое изменение доступа не нужен.
- Общие evals — спикер сравнивает evals с unit-тестами и считает смену модели изменением runtime-зависимостей. Фирма даёт общий каркас, команда пишет тесты только для своего агента.
- Классификаторы вместо подтверждения каждого действия — явные случаи решают детерминированные правила, неоднозначные уходят консервативному классификатору, а человеку достаются только важные решения. В качестве довода спикер приводит ошибку Citibank 2020 года: при платеже на $8 млн ушло около $900 млн, и три согласующих подтвердили предупреждение.
Кому полезно: тем, кто выводит агентов с доступом к производственным системам в компаниях с жёстким регулированием.
Статья по теме
На какие вопросы отвечает доклад
Как ограничить инструменты агента его заявленной задачей, а не блокировать всё подряд?
Агент заранее объявляет, какие инструменты и эндпоинты ему нужны, а реестр переводит это в политики, которые применяются при запуске. Менять доступ можно без тикетов в IT, если агент зарегистрирован и соответствует своему уровню риска.
▶ 11:43Мера контроля 3: доступ к инструментам с ограничением по целиКак не превратить подтверждение каждого действия агента в автоматическое нажатие «да»?
Явные правила выполняются детерминированно, а консервативные классификаторы решают рутинные случаи. Человек видит только неоднозначные или значимые запросы, а явно опасные действия запрещаются сразу.
▶ 16:17Мера контроля 5: усталость от подтверждений и классификаторы во время выполненияПочему агент забывает требование ждать подтверждения в длинной сессии?
По словам спикера, агент OpenClaw при сжатии контекста (compaction) потерял инструкцию ждать одобрения, работая с большим ящиком, и удалил сотни писем, не остановившись по команде с телефона.
▶ 16:17Мера контроля 5: усталость от подтверждений и классификаторы во время выполненияКак провести ревью агентов, чтобы эксперименты не стояли в очереди вместе с продакшеном?
Агенты оцениваются по уровню риска: мелкие эксперименты, например сводка тикетов, проходят лёгкую проверку, а агенты, которые меняют продакшен, идут на глубокое ревью.
▶ 9:47Мера контроля 2: проверка на основе рисковКак вести реестр агентов в компании, чтобы видеть владельцев, инструменты и эндпоинты?
Реестр фиксирует владельца, продукт, объявленные инструменты и эндпоинты каждого агента. Регистрация идёт автоматически, если агент собран на одобренных в компании фреймворках.
▶ 7:34Мера контроля 1: реестр агентовКак тестировать агента после смены модели и не писать отдельные evals в каждой команде?
Спикер сравнивает evals с unit-тестами и считает смену модели изменением runtime-зависимости. Общая инфраструктура оценок на уровне фирмы покрывает общие части, а команда пишет тесты, специфичные для своего агента.
▶ 14:43Мера контроля 4: общая инфраструктура evals
Главы
Похожие доклады
Ваш агент — смертоносная триада (и что с этим делать)
AI Engineer NYC 2026 Online Talks
Близко по содержанию
1 368 сбоев ИИ и чему они учат в evals
Близко по содержанию
Реальные атаки на AI-агентов и меры, которые могли бы их предотвратить
Близко по содержанию
ИИ-агент привёл к блокировке аккаунта пользователя в Resy
Allie Howe, Ian Livingstone, Dick Hardt, Michael Davis
Близко по содержанию

