Как определить, когда AI agent может работать без надзора
How to Know When an AI Agent Can Work Unsupervised — Evan Kormos, Coinbase
Агенту можно доверять самостоятельную работу в регламентированном процессе, если его шаг проверяется по политике, ограничен циклом и может передать задачу человеку.
- Детерминированный процесс снаружи, адаптивный внутри — внешний процесс описывается как DAG с последовательными шагами и проверками, а работа внутри узла оформляется как цикл с обратной связью, то есть DCG. Агент в узле может переделывать результат, пока проверка его не пропустит.
- Оценка вместо точного сравнения — у вероятностных агентов допустимых ответов бывает несколько, поэтому автор предлагает репрезентативный набор данных, критерии качества от экспертов предметной области и повторные статистические прогоны evals. Трассировки выполнения дополняют их как журнал работы агента.
- Выбор узла для автономии — кандидат должен быть ценным, легко проверяемым по политике, работать в ограниченном цикле, трассироваться и иметь откат на человека. Например, в кредитовании KYC, кредитный меморандум и проверка рисков могут идти параллельно, а решение остаётся за человеком.
- Поэтапный переход к автономии — сначала человек проверяет весь вывод, после достижения порога уверенности по политике переходит к выборочной проверке, а затем занимается в основном исключениями. Ускорение одного шага сдвигает нагрузку на соседние, поэтому без метрик процесса узкие места не видны.
Кому полезно: тем, кто выводит агентов в регламентированные процессы с политиками и аудитом, например в кредитование или выпуск ПО.
Статья по теме
Главы
Похожие доклады
Как устроены долгосрочные agents Arca, управляющие бизнесом
Близко по содержанию
Агенты — тоже роботы: чему автономное вождение научило меня в создании агентов
AI Engineer Code 2025
Близко по содержанию
Как создавать агентов с учётом особенностей компаний
AI Engineer World's Fair 2025
Близко по содержанию
AI agents теперь просто распределённые системы
AI Engineer World's Fair 2026
Близко по содержанию

