← Каталог

· AI Engineer World's Fair 2026

От вайбов до продакшена: оценка и запуск AI agents, которые работают

From Vibes to Production: Evaluating and Shipping AI Agents That Work 201 — Laurie Voss, Arize AI

Агентов нужно улучшать по трейсам: агент-кодер читает их, находит повторяющиеся сбои и предлагает исправления, которые проверяются evals.

  • Трейсы как источник правды — для недетерминированных агентов код и коммиты не говорят, что агент делает на самом деле; трейсы на большом объёме дают картину в среднем по всем запускам.
  • Статус 200 ещё не значит качество — в демо трейсы без ошибок скрывали пустые результаты поиска, поиск с null-аргументами и слишком узкий фильтр по возрасту; такие сбои находятся только при анализе содержимого трейсов.
  • Регрессионные evals до правок — зафиксируйте поведение, которое уже работает хорошо, чтобы исправление одного сбоя не сломало другое.
  • Фоновый анализ трейсов — по словам авторов, Signal в Arize AX запускается по умолчанию раз в шесть часов и выдаёт результаты в виде GitHub issue, примера для датасета, evaluator или PR на ревью. Большая часть доклада посвящена этому продукту, а у Signal есть собственный eval-набор и LLM-судьи.

Кому полезно: тем, кто уже вывел агента в продакшен и разбирает трейсы вручную.

Статья по теме

Главы

Ещё доклады: Laurie Voss

Все 7 докладов →

Похожие доклады