← Каталог

· AI Engineer World's Fair 2026

Ваш агент эволюционировал. А evals — нет.

Your Agent Evolved. Your Evals Didn't.

Eval-набор для агента должен меняться вместе с архитектурой, потому что каждое поколение (chain, ReAct-цикл, граф, агентный цикл с памятью и sandbox) добавляет новые точки отказа, которые старые метрики не видят.

  • Оценка распределения, а не одного запуска — один и тот же кейс запускается k раз, а надёжность меряется метрикой pass^k (сколько из k запусков успешны), тогда как pass@k показывает только способность хотя бы раз дать верный результат.
  • Node-level evals для графов — в workflow-графе отказы идут из ветвления, контрактов между узлами и классификаторов, поэтому проверять нужно каждый узел и логику retry, а не только итоговый ответ.
  • Поток данных из продакшена в evals — по словам спикера, функция Topics в Braintrust делает кластерный анализ продакшен-трафика и показывает новые категории отказов, которых не было в наборе оценок.
  • Агент SRE с read и write инструментами — на примере агента, который может откатить деплой или вызвать дежурного, спикер показывает, что ошибки tool calling и оркестрации требуют отдельных проверок.

Кому полезно: тем, кто перестраивает агентную систему под новые модели и не уверен, что существующие evals ещё покрывают её поведение.

Статья по теме

Главы

Похожие доклады