← Каталог

Как понять, хорош ли ваш AI-агент: evals с Phoenix и Claude

How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude — Laurie Voss, Arize AI

Чтобы понять, хорош ли агент-финансовый аналитик, сначала нужно читать трейсы, а готовый judge по correctness здесь бесполезен, потому что не видит свежих данных.

  • Judge с контекстом вместо встроенного — correctness-оценка провалила все 16 отчётов, так как модель не может проверить актуальные котировки. Faithfulness-judge, которому передали результаты поиска и заметки исследования, нашёл выдуманные цифры и неверное сложение долей из разных поисков.
  • Рубрику проверяют как код — judge для actionability сверяли с ручной разметкой на обучающей и тестовой выборках и считали precision и recall. По словам спикера, одна уточняющая фраза в рубрике снизила согласие на обучающей выборке с 12 из 12 до 11 из 12.
  • Смена модели на Haiku 5.5 — faithfulness улучшилась более чем втрое, но модель стала почти всегда советовать hold. Без eval это поведение было бы незаметно.
  • Блокирующие проверки в CI — упоминание тикера как обязательная проверка, среднее actionability не ниже 0.8 как цель. Для продакшена спикер советует оценивать выборку реального трафика.

Кому полезно: тем, кто собирается выкатывать агента с отчётами или рекомендациями и не знает, как проверить его ответы без ручного чтения.

Статья по теме

Главы

Ещё доклады: Laurie Voss

Все 7 докладов →

Похожие доклады