← Каталог

· AI Engineer World's Fair 2026

Метрика containment вводит вас в заблуждение: оценивайте AI agents как сотрудников

Containment Is Lying to You: Measuring AI Agents Like Employees — Druid AI

Containment rate награждает не того агента: по словам авторов, агент с 80% containment может приносить больше пользы, чем агент с 96%.

  • Мандат до запуска — границы агента задаются заранее: допустимая доля ошибок, риски, системы, к которым у агента есть доступ, бюджет и бизнес-цель. В предложенной схеме оценки управление весит 39%, мандат 26%.
  • Scorecard из 26 компонентов — каждый компонент получает 0 (нет), 1 (измеряется) или 2 (управляется во времени). По словам авторов, агент с containment 80% набирает 83% и выигрывает у агента с 96%, у которого больше навыков, но хуже объяснимость и отслеживание успеха.
  • Еженедельная оценка против человека — прогон на живом трафике с человеческим baseline показывает дрейф. По словам авторов, при плоской панели в 92% реальный балл за год снижался с 83% до 60%.
  • ROI через освободившееся время — оценивать агента стоит по рутине, которую он забрал у людей, и по более ценной работе, которую они начали делать.

Кому полезно: тем, кто измеряет агентов клиентской поддержки и должен объяснить бизнесу, почему containment недостаточен. Это презентация фреймворка Druid AI, но схема оценки описана подробно.

Статья по теме

Главы

Похожие доклады