· AI Engineer World's Fair 2026
От вайбов до продакшена: оценка и запуск AI agents, которые работают
From Vibes to Production: Evaluating and Shipping AI Agents That Work 201 — Laurie Voss, Arize AI
Агентов нужно улучшать по трейсам: агент-кодер читает их, находит повторяющиеся сбои и предлагает исправления, которые проверяются evals.
- Трейсы как источник правды — для недетерминированных агентов код и коммиты не говорят, что агент делает на самом деле; трейсы на большом объёме дают картину в среднем по всем запускам.
- Статус 200 ещё не значит качество — в демо трейсы без ошибок скрывали пустые результаты поиска, поиск с null-аргументами и слишком узкий фильтр по возрасту; такие сбои находятся только при анализе содержимого трейсов.
- Регрессионные evals до правок — зафиксируйте поведение, которое уже работает хорошо, чтобы исправление одного сбоя не сломало другое.
- Фоновый анализ трейсов — по словам авторов, Signal в Arize AX запускается по умолчанию раз в шесть часов и выдаёт результаты в виде GitHub issue, примера для датасета, evaluator или PR на ревью. Большая часть доклада посвящена этому продукту, а у Signal есть собственный eval-набор и LLM-судьи.
Кому полезно: тем, кто уже вывел агента в продакшен и разбирает трейсы вручную.
Статья по теме
Главы
Ещё доклады: Laurie Voss
Все 7 докладов →Похожие доклады
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Тот же спикер: Laurie Voss
Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Близко по содержанию
Как agents совершенствуются, пока вы спите
Близко по содержанию

