← Каталог

· AI Engineer Summit 2025

Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования

Ensure AI Agents Work: Evaluation Frameworks for Scaling Success

Агенты в продакшене ломаются на отдельных шагах, поэтому оценивать нужно router, Skills и путь выполнения, а не только итоговый ответ.

  • Проверка router — мало проверить, что вызван нужный Skill: проверяйте и параметры, которые он получает, например диапазон цены при поиске товаров.
  • Оценка Skill — для RAG смотрите релевантность найденных фрагментов и корректность ответа, добавляйте LLM-as-a-judge и проверки на коде. Спикер показывает, как Arize оценивает каждый уровень трассировки собственного copilot.
  • Сходимость пути — один и тот же Skill на OpenAI и Anthropic может давать сильно разное число шагов, поэтому считайте шаги и следите за разбросом. По словам спикера, это одна из самых трудных для оценки метрик.
  • Голосовые агенты — кроме транскрипта оценивайте аудиофрагменты: тональность пользователя, качество речи и точность speech-to-text. Доклад во многом презентация продукта Arize, но инженерная часть про слои оценок полезна и без этого.

Кому полезно: тем, кто выводит агентов с роутингом, Skills и голосом в продакшен и хочет понимать, на каком шаге произошёл сбой.

Статья по теме

На какие вопросы отвечает доклад

  • Как проверить, что роутер агента вызывает нужный навык с правильными параметрами?

    Оценивать роутер нужно по двум вопросам: выбран ли правильный навык из нескольких и переданы ли в него верные параметры, например нужный тип товара и диапазон цены.

    ▶ 4:06Память агента, отладка трассировок и SQL tool calls
  • Как оценивать RAG-навык агента: релевантность найденных чанков и корректность ответа?

    Для RAG-навыка проверяют релевантность извлечённых фрагментов и корректность сгенерированного ответа. Внутри навыка могут работать LLM-as-a-judge оценки и code-based проверки.

    ▶ 9:05Оценка маршрутизатора, RAG, навыков и путей выполнения
  • Почему один и тот же навык агента на разных моделях выполняется за разное число шагов?

    По словам спикера, один и тот же навык на OpenAI и Anthropic может давать сильно разное число шагов. Поэтому предлагается считать шаги и оценивать convergence, то есть стабильность числа шагов для одной задачи.

    ▶ 9:05Оценка маршрутизатора, RAG, навыков и путей выполнения
  • Как оценивать голосового агента до продакшена: тон, sentiment и точность распознавания речи?

    Помимо текста нужно оценивать аудиочанки: sentiment пользователя, качество речи, точность speech-to-text и постоянство тона по всему разговору. Для этого задают отдельные evals на интент и качество речи.

    ▶ 11:24Метрики качества голосовых агентов и сквозная оценка
  • Как понять, на каком шаге агента произошла ошибка, если итоговый ответ неверный?

    Evals ставят на каждый слой трейса: на общий ответ, на выбор роутера, на аргументы и на выполнение навыка. Так видно, где сломалась цепочка: в роутере, в навыке или дальше по потоку.

    ▶ 11:24Метрики качества голосовых агентов и сквозная оценка
  • Как разбирать трейсы агента, чтобы найти причину медленной работы приложения?

    В демо агент сам собирает трейсы приложения SQL-запросом и передаёт их навыку анализа данных. Так видны вызовы роутера, tool calls и память, которые работают под капотом.

    ▶ 4:06Память агента, отладка трассировок и SQL tool calls

Главы

Ещё доклады: Aparna Dhinakaran

Все 5 докладов →

Похожие доклады