Как понять, хорош ли ваш AI-агент: evals с Phoenix и Claude
How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude — Laurie Voss, Arize AI
Чтобы понять, хорош ли агент-финансовый аналитик, сначала нужно читать трейсы, а готовый judge по correctness здесь бесполезен, потому что не видит свежих данных.
- Judge с контекстом вместо встроенного — correctness-оценка провалила все 16 отчётов, так как модель не может проверить актуальные котировки. Faithfulness-judge, которому передали результаты поиска и заметки исследования, нашёл выдуманные цифры и неверное сложение долей из разных поисков.
- Рубрику проверяют как код — judge для actionability сверяли с ручной разметкой на обучающей и тестовой выборках и считали precision и recall. По словам спикера, одна уточняющая фраза в рубрике снизила согласие на обучающей выборке с 12 из 12 до 11 из 12.
- Смена модели на Haiku 5.5 — faithfulness улучшилась более чем втрое, но модель стала почти всегда советовать hold. Без eval это поведение было бы незаметно.
- Блокирующие проверки в CI — упоминание тикера как обязательная проверка, среднее actionability не ниже 0.8 как цель. Для продакшена спикер советует оценивать выборку реального трафика.
Кому полезно: тем, кто собирается выкатывать агента с отчётами или рекомендациями и не знает, как проверить его ответы без ручного чтения.
Статья по теме
Главы
Ещё доклады: Laurie Voss
Все 7 докладов →Какой длины могут быть ваши skills, прежде чем агент забудет ваши инструкции?
От вайбов до продакшена: оценка и запуск AI agents, которые работают
AI Engineer World's Fair 2026
Смерть code review: что на самом деле говорят данные
AI Engineer World's Fair 2026
Похожие доклады
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Тот же спикер: Laurie Voss
Почему сложно создавать платформы для evals
AI Engineer Europe 2026
Близко по содержанию
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Близко по содержанию

