← Каталог

· AI Engineer Europe 2026

Закройте пробелы в наблюдаемости агентов

Mind the Gap (In your Agent Observability)

Наблюдаемость агентов работает, когда оценки привязаны к трассам: после смены модели или промпта регресс находится сравнением шагов агента, а не догадками.

  • Оценки, привязанные к трассам — результат evals попадает к конкретной трассе, поэтому видно, какой вызов инструмента перестал срабатывать после замены модели, и можно сравнить его с предыдущей версией агента.
  • Оценка по шагам агента — intent resolution проверяет, понял ли агент запрос, tool call проверяет, тот ли инструмент вызван, task adherence оценивает итоговый ответ. По словам спикеров, task adherence чаще всего требует правок со временем.
  • Ручной выбор версии — в демо observe skill для Foundry (ранний превью) оптимизировал промпт и прогонял пакетную оценку. Оценка то росла, то падала, и лучшей оказалась версия 5 из 10, поэтому решение о версии остаётся за человеком.
  • Red teaming агентом — отдельный агент атакует ваш агент стратегиями вроде crescendo и leetspeak и проверяет обход guardrails. Основа — открытый PyRIT.

Кому полезно: тем, кто выводит в продакшен агентов с несколькими шагами и вызовами инструментов и хочет находить регрессии после смены модели или промпта.

Статья по теме

Главы

Похожие доклады