· AI Engineer World's Fair 2026
Production evals для агентных AI-систем
Production Evals For Agentic AI Systems
Агентные системы нужно оценивать по тому, как они проходят всю цепочку шагов в продакшене, а не по точности ответов на бенчмарках.
- Сценарии вместо промптов — офлайн-оценка строится вокруг целых сценариев: доля завершённых задач, корректность вызовов инструментов, качество планирования и восстановление после сбоев инструментов или API.
- Трейсы как distributed tracing — для агентов нужны подробные трейсы: цепочки рассуждений, вызовы инструментов, обращения к памяти и переходы между состояниями. Без них оценка сводится к догадкам.
- Продакшен-трафик как данные для оценки — каждое взаимодействие даёт сигнал: трейсы, эскалации, сбои, обратная связь пользователей. Спикер считает, что люди здесь оценщики, а не запасной вариант, и их разметка калибрует автоматические метрики.
- Непрерывная оценка — по словам спикера, дрейф проявляется постепенно: смена модели, промптов или инструментов незаметно снижает успешность и растит эскалации. Поэтому оценка работает после деплоя, в control plane, отдельно от исполнения.
Кому полезно: тем, кто выводит агентов в продакшен и не понимает, почему высокие оценки на бенчмарках не предсказывают сбои.
Доклад цитируется в статьях
Главы
Ещё доклады: Nishant Gupta
Страница спикера →Эксплуатация распределённых систем инференса в больших масштабах
AI Engineer World's Fair 2026
Детерминированная инфраструктура для недетерминированных AI agents
AI Engineer World's Fair 2026
Похожие доклады
Как понять, хорош ли ваш AI-агент: evals с Phoenix и Claude
Близко по содержанию
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Близко по содержанию

