Agent evals: наконец-то с картой
Agent Evals: Finally, With The Map
Надёжную оценку агентов нужно строить на двух уровнях: одновременно оптимизировать рабочий LLM-процесс агента и отдельный процесс судьи, который его оценивает (EvalOps).
- Семантика и поведение проверяются раздельно — согласованность ответов, опора на данные в RAG и faithfulness относятся к семантике, а выбор инструментов, структура JSON в tool calls и сходимость плана к цели относятся к поведению.
- Судья тоже стоит денег и времени — LLM-as-judge добавляет собственные стоимость, задержку и неопределённость, поэтому его нужно оптимизировать так же, как самого агента.
- Инструменты тестируются обычным софтом — метрики для API-вызовов часто проще всего писать традиционными методами тестирования, без участия LLM.
- Offline и online оценки разведены — спикер предлагает заранее решить, что проверяется на этапе разработки, а что обязательно отслеживать в продакшене.
Кому полезно: тем, кто выводит агентов в продакшен и не понимает, какие метрики для них нужны и как не переплатить за оценку.
Статья по теме
Главы
Ещё доклады: Ari Heljakka
Страница спикера →Стабилизирует ли оценка агентов через MCP сети агентов?
AI Engineer World's Fair 2025
Похожие доклады
Оценка видео-слопа
AI Engineer World's Fair 2026
Близко по содержанию
Создавайте evals, которые действительно важны
AI Engineer World's Fair 2026
Близко по содержанию
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Близко по содержанию

