· AI Engineer World's Fair 2026
Ваш агент эволюционировал. А evals — нет.
Your Agent Evolved. Your Evals Didn't.
Eval-набор для агента должен меняться вместе с архитектурой, потому что каждое поколение (chain, ReAct-цикл, граф, агентный цикл с памятью и sandbox) добавляет новые точки отказа, которые старые метрики не видят.
- Оценка распределения, а не одного запуска — один и тот же кейс запускается k раз, а надёжность меряется метрикой pass^k (сколько из k запусков успешны), тогда как pass@k показывает только способность хотя бы раз дать верный результат.
- Node-level evals для графов — в workflow-графе отказы идут из ветвления, контрактов между узлами и классификаторов, поэтому проверять нужно каждый узел и логику retry, а не только итоговый ответ.
- Поток данных из продакшена в evals — по словам спикера, функция Topics в Braintrust делает кластерный анализ продакшен-трафика и показывает новые категории отказов, которых не было в наборе оценок.
- Агент SRE с read и write инструментами — на примере агента, который может откатить деплой или вызвать дежурного, спикер показывает, что ошибки tool calling и оркестрации требуют отдельных проверок.
Кому полезно: тем, кто перестраивает агентную систему под новые модели и не уверен, что существующие evals ещё покрывают её поведение.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Чем o11y для агентов отличается от традиционной o11y
AI Engineer Europe 2026
Близко по содержанию
Как мы создали агента, который сам себя улучшает
AI Engineer World's Fair 2026
Близко по содержанию
Создание агентов: важнее надёжный минимум, чем рекордный максимум
AI Engineer World's Fair 2026
Близко по содержанию

