← Каталог

· AI Engineer Summit 2025

Agent evals: наконец-то с картой

Agent Evals: Finally, With The Map

Надёжную оценку агентов нужно строить на двух уровнях: одновременно оптимизировать рабочий LLM-процесс агента и отдельный процесс судьи, который его оценивает (EvalOps).

  • Семантика и поведение проверяются раздельно — согласованность ответов, опора на данные в RAG и faithfulness относятся к семантике, а выбор инструментов, структура JSON в tool calls и сходимость плана к цели относятся к поведению.
  • Судья тоже стоит денег и времени — LLM-as-judge добавляет собственные стоимость, задержку и неопределённость, поэтому его нужно оптимизировать так же, как самого агента.
  • Инструменты тестируются обычным софтом — метрики для API-вызовов часто проще всего писать традиционными методами тестирования, без участия LLM.
  • Offline и online оценки разведены — спикер предлагает заранее решить, что проверяется на этапе разработки, а что обязательно отслеживать в продакшене.

Кому полезно: тем, кто выводит агентов в продакшен и не понимает, какие метрики для них нужны и как не переплатить за оценку.

Статья по теме

Главы

Ещё доклады: Ari Heljakka

Страница спикера →

Похожие доклады