← Каталог

· AI Engineer World's Fair 2025

Как обуздать AI-агентов с помощью evals на основе observability

Taming Rogue AI Agents with Observability-Driven Evaluation

Для агентов с недетерминированным поведением обычные тесты нужно заменить оценками на каждом шаге, которые считает более сильная LLM, а человек их калибрует.

  • Оценка на каждом шаге — трассировку мультиагентного приложения надо раскладывать на компоненты и считать метрики для каждого, иначе не понять, где агент сломался. В банковском чатботе из примера спикера ответ на вопрос о балансе потребовал три шага вместо одного.
  • Completion и advancement — action completion показывает, выполнена ли задача целиком, action advancement показывает, продвинулся ли агент к цели. Отказ ответить получает ноль по обеим метрикам, а уточняющий вопрос засчитывается только по advancement.
  • LLM-as-a-judge сильнее продуктовой модели — по словам спикера, в приложении стоит самая дешёвая модель, а проверять трассировки стоит более дорогой, например выборку из десяти тысяч из миллиона трасс в день. Galileo предлагает для этого собственную небольшую модель, поэтому часть доклада — презентация продукта.
  • Калибровка людьми — метрики не бывают верными сразу, поэтому предложенные системой исправления, например явную инструкцию в system message, должен утверждать человек, а обратная связь постоянно уточняет оценки.

Кому полезно: тем, кто выводит в продакшен агентов с несколькими вызовами инструментов и RAG и не знает, как их тестировать.

Статья по теме

Главы

Похожие доклады