Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
Ensure AI Agents Work: Evaluation Frameworks for Scaling Success
Агенты в продакшене ломаются на отдельных шагах, поэтому оценивать нужно router, Skills и путь выполнения, а не только итоговый ответ.
- Проверка router — мало проверить, что вызван нужный Skill: проверяйте и параметры, которые он получает, например диапазон цены при поиске товаров.
- Оценка Skill — для RAG смотрите релевантность найденных фрагментов и корректность ответа, добавляйте LLM-as-a-judge и проверки на коде. Спикер показывает, как Arize оценивает каждый уровень трассировки собственного copilot.
- Сходимость пути — один и тот же Skill на OpenAI и Anthropic может давать сильно разное число шагов, поэтому считайте шаги и следите за разбросом. По словам спикера, это одна из самых трудных для оценки метрик.
- Голосовые агенты — кроме транскрипта оценивайте аудиофрагменты: тональность пользователя, качество речи и точность speech-to-text. Доклад во многом презентация продукта Arize, но инженерная часть про слои оценок полезна и без этого.
Кому полезно: тем, кто выводит агентов с роутингом, Skills и голосом в продакшен и хочет понимать, на каком шаге произошёл сбой.
Статья по теме
На какие вопросы отвечает доклад
Как проверить, что роутер агента вызывает нужный навык с правильными параметрами?
Оценивать роутер нужно по двум вопросам: выбран ли правильный навык из нескольких и переданы ли в него верные параметры, например нужный тип товара и диапазон цены.
▶ 4:06Память агента, отладка трассировок и SQL tool callsКак оценивать RAG-навык агента: релевантность найденных чанков и корректность ответа?
Для RAG-навыка проверяют релевантность извлечённых фрагментов и корректность сгенерированного ответа. Внутри навыка могут работать LLM-as-a-judge оценки и code-based проверки.
▶ 9:05Оценка маршрутизатора, RAG, навыков и путей выполненияПочему один и тот же навык агента на разных моделях выполняется за разное число шагов?
По словам спикера, один и тот же навык на OpenAI и Anthropic может давать сильно разное число шагов. Поэтому предлагается считать шаги и оценивать convergence, то есть стабильность числа шагов для одной задачи.
▶ 9:05Оценка маршрутизатора, RAG, навыков и путей выполненияКак оценивать голосового агента до продакшена: тон, sentiment и точность распознавания речи?
Помимо текста нужно оценивать аудиочанки: sentiment пользователя, качество речи, точность speech-to-text и постоянство тона по всему разговору. Для этого задают отдельные evals на интент и качество речи.
▶ 11:24Метрики качества голосовых агентов и сквозная оценкаКак понять, на каком шаге агента произошла ошибка, если итоговый ответ неверный?
Evals ставят на каждый слой трейса: на общий ответ, на выбор роутера, на аргументы и на выполнение навыка. Так видно, где сломалась цепочка: в роутере, в навыке или дальше по потоку.
▶ 11:24Метрики качества голосовых агентов и сквозная оценкаКак разбирать трейсы агента, чтобы найти причину медленной работы приложения?
В демо агент сам собирает трейсы приложения SQL-запросом и передаёт их навыку анализа данных. Так видны вызовы роутера, tool calls и память, которые работают под капотом.
▶ 4:06Память агента, отладка трассировок и SQL tool calls
Главы
Ещё доклады: Aparna Dhinakaran
Все 5 докладов →Чем теперь занимается AI-инженер?
Неожиданная эффективность обучения промптам
AI Engineer Code 2025
Будущее evals: от LLM-as-a-judge к агенту-судье
AI Engineer World's Fair 2026
Похожие доклады
Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов
AI Engineer World's Fair 2025
Тот же спикер: Aparna Dhinakaran
Запуск корпоративного голосового AI agent за 100 дней
AI Engineer World's Fair 2025
Близко по содержанию
Основы evals
AI Engineer World's Fair 2025
Близко по содержанию

