· AI Engineer World's Fair 2026
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
From Vibes to Production: Evaluating and Shipping AI Agents That Work 101 — Laurie Voss, Arize AI
Оценки агента стоит писать после чтения его traces: реальные сбои, например тихая запись отчёта в несуществующий файл, показывают, что именно проверять.
- Чтение traces до автоматизации — в 13 запусках финансового агента на Claude Agent SDK спикер нашёл отчёты, которые агент «сохранил в файл» вместо того, чтобы выдать текст, и поиск, зациклившийся на одной компании. Детерминированная проверка тикера на Python поймала отчёт про AWS без упоминания акции Amazon: из 13 прошли 12.
- Correctness против faithfulness — correctness-судья забраковал все 13 отчётов, потому что сверял свежие данные из веб-поиска со своими знаниями. Когда тому же судье передали результаты поиска, faithfulness-проверка отметила 6 отчётов как верные и 7 как неверные.
- Свой rubric на одно измерение — критерии actionability должны быть наблюдаемыми, например «есть конкретная рекомендация» или «есть прогноз», с примерами и бинарной меткой. Судью сверяют с ручной разметкой на отложенной выборке, считая precision и recall; цифры воркшопа иллюстративные, так как метки были случайными.
- Coding агенты с требованиями — им передают требования и повторяющиеся темы сбоев, а не отдельный трейс, иначе агент подгоняет код под тесты.
Кому полезно: тем, кто выводит агента с веб-поиском и генерацией отчётов в продакшен и не знает, какие проверки писать первыми.
Статья по теме
Главы
Ещё доклады: Laurie Voss
Все 7 докладов →Похожие доклады
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Тот же спикер: Laurie Voss
Всё, что нужно знать о наблюдаемости AI-агентов
Ben Hylak, Danny Gollapalli, Zubin Koticha
AI Engineer Europe 2026
Близко по содержанию
Самоулучшающийся стек OSS-агентов
AI Engineer World's Fair 2026
Близко по содержанию

