Закройте пробелы в наблюдаемости агентов
Mind the Gap (In your Agent Observability)
Наблюдаемость агентов работает, когда оценки привязаны к трассам: после смены модели или промпта регресс находится сравнением шагов агента, а не догадками.
- Оценки, привязанные к трассам — результат evals попадает к конкретной трассе, поэтому видно, какой вызов инструмента перестал срабатывать после замены модели, и можно сравнить его с предыдущей версией агента.
- Оценка по шагам агента — intent resolution проверяет, понял ли агент запрос, tool call проверяет, тот ли инструмент вызван, task adherence оценивает итоговый ответ. По словам спикеров, task adherence чаще всего требует правок со временем.
- Ручной выбор версии — в демо observe skill для Foundry (ранний превью) оптимизировал промпт и прогонял пакетную оценку. Оценка то росла, то падала, и лучшей оказалась версия 5 из 10, поэтому решение о версии остаётся за человеком.
- Red teaming агентом — отдельный агент атакует ваш агент стратегиями вроде crescendo и leetspeak и проверяет обход guardrails. Основа — открытый PyRIT.
Кому полезно: тем, кто выводит в продакшен агентов с несколькими шагами и вызовами инструментов и хочет находить регрессии после смены модели или промпта.
Статья по теме
Главы
Похожие доклады
Всё, что нужно знать о наблюдаемости AI-агентов
Ben Hylak, Danny Gollapalli, Zubin Koticha
AI Engineer Europe 2026
Близко по содержанию
Основы AI-безопасности для инженеров + сертификат
AI Engineer World's Fair 2026
Близко по содержанию
Как непрерывно улучшать agents с Langfuse
Annabell Schäfer, Lotte Verheyden
AI Engineer World's Fair 2026
Близко по содержанию
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
Близко по содержанию


