· AI Engineer World's Fair 2025
Как обуздать AI-агентов с помощью evals на основе observability
Taming Rogue AI Agents with Observability-Driven Evaluation
Для агентов с недетерминированным поведением обычные тесты нужно заменить оценками на каждом шаге, которые считает более сильная LLM, а человек их калибрует.
- Оценка на каждом шаге — трассировку мультиагентного приложения надо раскладывать на компоненты и считать метрики для каждого, иначе не понять, где агент сломался. В банковском чатботе из примера спикера ответ на вопрос о балансе потребовал три шага вместо одного.
- Completion и advancement — action completion показывает, выполнена ли задача целиком, action advancement показывает, продвинулся ли агент к цели. Отказ ответить получает ноль по обеим метрикам, а уточняющий вопрос засчитывается только по advancement.
- LLM-as-a-judge сильнее продуктовой модели — по словам спикера, в приложении стоит самая дешёвая модель, а проверять трассировки стоит более дорогой, например выборку из десяти тысяч из миллиона трасс в день. Galileo предлагает для этого собственную небольшую модель, поэтому часть доклада — презентация продукта.
- Калибровка людьми — метрики не бывают верными сразу, поэтому предложенные системой исправления, например явную инструкцию в system message, должен утверждать человек, а обратная связь постоянно уточняет оценки.
Кому полезно: тем, кто выводит в продакшен агентов с несколькими вызовами инструментов и RAG и не знает, как их тестировать.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Близко по содержанию
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Близко по содержанию
Создавайте evals, которые действительно важны
AI Engineer World's Fair 2026
Близко по содержанию

