← Каталог

· AI Engineer World's Fair 2026

От вайбов до продакшена: основы оценки и запуска работающих AI-агентов

From Vibes to Production: Evaluating and Shipping AI Agents That Work 101 — Laurie Voss, Arize AI

Оценки агента стоит писать после чтения его traces: реальные сбои, например тихая запись отчёта в несуществующий файл, показывают, что именно проверять.

  • Чтение traces до автоматизации — в 13 запусках финансового агента на Claude Agent SDK спикер нашёл отчёты, которые агент «сохранил в файл» вместо того, чтобы выдать текст, и поиск, зациклившийся на одной компании. Детерминированная проверка тикера на Python поймала отчёт про AWS без упоминания акции Amazon: из 13 прошли 12.
  • Correctness против faithfulness — correctness-судья забраковал все 13 отчётов, потому что сверял свежие данные из веб-поиска со своими знаниями. Когда тому же судье передали результаты поиска, faithfulness-проверка отметила 6 отчётов как верные и 7 как неверные.
  • Свой rubric на одно измерение — критерии actionability должны быть наблюдаемыми, например «есть конкретная рекомендация» или «есть прогноз», с примерами и бинарной меткой. Судью сверяют с ручной разметкой на отложенной выборке, считая precision и recall; цифры воркшопа иллюстративные, так как метки были случайными.
  • Coding агенты с требованиями — им передают требования и повторяющиеся темы сбоев, а не отдельный трейс, иначе агент подгоняет код под тесты.

Кому полезно: тем, кто выводит агента с веб-поиском и генерацией отчётов в продакшен и не знает, какие проверки писать первыми.

Статья по теме

Главы

Ещё доклады: Laurie Voss

Все 7 докладов →

Похожие доклады