← Каталог

Как определить, когда AI agent может работать без надзора

How to Know When an AI Agent Can Work Unsupervised — Evan Kormos, Coinbase

Агенту можно доверять самостоятельную работу в регламентированном процессе, если его шаг проверяется по политике, ограничен циклом и может передать задачу человеку.

  • Детерминированный процесс снаружи, адаптивный внутри — внешний процесс описывается как DAG с последовательными шагами и проверками, а работа внутри узла оформляется как цикл с обратной связью, то есть DCG. Агент в узле может переделывать результат, пока проверка его не пропустит.
  • Оценка вместо точного сравнения — у вероятностных агентов допустимых ответов бывает несколько, поэтому автор предлагает репрезентативный набор данных, критерии качества от экспертов предметной области и повторные статистические прогоны evals. Трассировки выполнения дополняют их как журнал работы агента.
  • Выбор узла для автономии — кандидат должен быть ценным, легко проверяемым по политике, работать в ограниченном цикле, трассироваться и иметь откат на человека. Например, в кредитовании KYC, кредитный меморандум и проверка рисков могут идти параллельно, а решение остаётся за человеком.
  • Поэтапный переход к автономии — сначала человек проверяет весь вывод, после достижения порога уверенности по политике переходит к выборочной проверке, а затем занимается в основном исключениями. Ускорение одного шага сдвигает нагрузку на соседние, поэтому без метрик процесса узкие места не видны.

Кому полезно: тем, кто выводит агентов в регламентированные процессы с политиками и аудитом, например в кредитование или выпуск ПО.

Статья по теме

Главы

Похожие доклады