← Каталог

· AI Engineer Europe 2026

Этапы зрелости evals

The maturity phases of running evals

Evals агентов зреют в несколько стадий: от ручной разметки экспертов с письменными обоснованиями к автоматическим судьям, которые проверяют полные traces агента.

  • Обоснование вместо оценки — эксперт ставит thumbs up или thumbs down и письменно объясняет причину. Затем эти объяснения разбирают в Claude Code или Codex, чтобы выделить failure modes и на их основе написать scoring functions и LLM-as-a-judge.
  • Проверка самого судьи — по словам спикера, LLM-as-a-judge тоже нужно сверять с решениями людей, а бинарные выводы судьи облегчают сборку эталонного набора. Детерминированные проверки, например число tool calls или токенов, подходят там, где критерий объективен.
  • Трейсы из продакшена в датасет — реальные трейсы попадают в набор для экспериментов: сбой нашли в продакшене, воспроизвели, исправили агента и перепроверили.
  • Оценка всего трейса — у агентов с tool calls и CRUD-операциями проверяют каждый шаг трейса, включая состояние внешних систем, которое записывают в сам трейс. Для векторной базы запрашивают данные на момент запуска, а спикер признаёт, что проблема решена не полностью.

Кому полезно: тем, кто переходит от проверки нескольких промптов к оценке агентов с tool calls в продакшене.

Статья по теме

Главы

Ещё доклады: Phil Hetzel

Страница спикера →

Похожие доклады