← Каталог

· AI Engineer World's Fair 2026

Production evals для агентных AI-систем

Production Evals For Agentic AI Systems

Агентные системы нужно оценивать по тому, как они проходят всю цепочку шагов в продакшене, а не по точности ответов на бенчмарках.

  • Сценарии вместо промптов — офлайн-оценка строится вокруг целых сценариев: доля завершённых задач, корректность вызовов инструментов, качество планирования и восстановление после сбоев инструментов или API.
  • Трейсы как distributed tracing — для агентов нужны подробные трейсы: цепочки рассуждений, вызовы инструментов, обращения к памяти и переходы между состояниями. Без них оценка сводится к догадкам.
  • Продакшен-трафик как данные для оценки — каждое взаимодействие даёт сигнал: трейсы, эскалации, сбои, обратная связь пользователей. Спикер считает, что люди здесь оценщики, а не запасной вариант, и их разметка калибрует автоматические метрики.
  • Непрерывная оценка — по словам спикера, дрейф проявляется постепенно: смена модели, промптов или инструментов незаметно снижает успешность и растит эскалации. Поэтому оценка работает после деплоя, в control plane, отдельно от исполнения.

Кому полезно: тем, кто выводит агентов в продакшен и не понимает, почему высокие оценки на бенчмарках не предсказывают сбои.

Доклад цитируется в статьях

Главы

Ещё доклады: Nishant Gupta

Страница спикера →

Похожие доклады