· AI Engineer World's Fair 2026
Метрика containment вводит вас в заблуждение: оценивайте AI agents как сотрудников
Containment Is Lying to You: Measuring AI Agents Like Employees — Druid AI
Containment rate награждает не того агента: по словам авторов, агент с 80% containment может приносить больше пользы, чем агент с 96%.
- Мандат до запуска — границы агента задаются заранее: допустимая доля ошибок, риски, системы, к которым у агента есть доступ, бюджет и бизнес-цель. В предложенной схеме оценки управление весит 39%, мандат 26%.
- Scorecard из 26 компонентов — каждый компонент получает 0 (нет), 1 (измеряется) или 2 (управляется во времени). По словам авторов, агент с containment 80% набирает 83% и выигрывает у агента с 96%, у которого больше навыков, но хуже объяснимость и отслеживание успеха.
- Еженедельная оценка против человека — прогон на живом трафике с человеческим baseline показывает дрейф. По словам авторов, при плоской панели в 92% реальный балл за год снижался с 83% до 60%.
- ROI через освободившееся время — оценивать агента стоит по рутине, которую он забрал у людей, и по более ценной работе, которую они начали делать.
Кому полезно: тем, кто измеряет агентов клиентской поддержки и должен объяснить бизнесу, почему containment недостаточен. Это презентация фреймворка Druid AI, но схема оценки описана подробно.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Реальные атаки на AI-агентов и меры, которые могли бы их предотвратить
Близко по содержанию
Чему ошибка банка на $900 млн учит нас об AI agents
Близко по содержанию
300 agents, 60 человек: как мы обеспечили безопасность собственных AI agents
Близко по содержанию

