Этапы зрелости evals
The maturity phases of running evals
Evals агентов зреют в несколько стадий: от ручной разметки экспертов с письменными обоснованиями к автоматическим судьям, которые проверяют полные traces агента.
- Обоснование вместо оценки — эксперт ставит thumbs up или thumbs down и письменно объясняет причину. Затем эти объяснения разбирают в Claude Code или Codex, чтобы выделить failure modes и на их основе написать scoring functions и LLM-as-a-judge.
- Проверка самого судьи — по словам спикера, LLM-as-a-judge тоже нужно сверять с решениями людей, а бинарные выводы судьи облегчают сборку эталонного набора. Детерминированные проверки, например число tool calls или токенов, подходят там, где критерий объективен.
- Трейсы из продакшена в датасет — реальные трейсы попадают в набор для экспериментов: сбой нашли в продакшене, воспроизвели, исправили агента и перепроверили.
- Оценка всего трейса — у агентов с tool calls и CRUD-операциями проверяют каждый шаг трейса, включая состояние внешних систем, которое записывают в сам трейс. Для векторной базы запрашивают данные на момент запуска, а спикер признаёт, что проблема решена не полностью.
Кому полезно: тем, кто переходит от проверки нескольких промптов к оценке агентов с tool calls в продакшене.
Статья по теме
Главы
Ещё доклады: Phil Hetzel
Страница спикера →Почему сложно создавать платформы для evals
AI Engineer Europe 2026
Чем o11y для агентов отличается от традиционной o11y
AI Engineer Europe 2026
Должна ли GenAI быть только в ведении дата-сайентистов?
AI Engineer Europe 2026
Похожие доклады
Дайте агенту развернуться: как с помощью Skills оценивать и улучшать приложение
AI Engineer World's Fair 2026
Близко по содержанию
Как оценить модель для своей задачи
AI Engineer Summit 2023
Близко по содержанию

