← Каталог

· AI Engineer World's Fair 2025

Превосходство в создании агентов: оценка AI-агентов с помощью Azure AI Evaluation SDK

Agentic Excellence: Mastering Evaluation of AI Agents with Azure AI Evaluation SDK

Оценку AI-агента нужно начинать с первых дней разработки: сначала ручная проверка отдельных примеров, затем автоматическая оценка на датасете.

  • Слои защиты — безопасность модели и системы в Azure обеспечивает платформа, а системное сообщение, grounding и дизайн приложения настраивает разработчик, и защита строится на всех слоях вместе.
  • Ручная проверка до масштаба — сравнение моделей на отдельных промптах в AI Toolkit для Visual Studio Code показывает то, что усреднённая метрика скрывает. Спикер предпочёл ответ GPT-4.1, который при этом заметно быстрее GPT-4o.
  • Оценка всей системы — агент на Playwright MCP и GPT-4.1 извлекал данные о событии, перешёл с одной страницы на другую и нашёл число участников, которого на первой странице не было. Такие переходы проще проверить, оценивая агента целиком, а не модель.
  • Порог под продукт — встроенные evaluators (groundedness, fluency, coherence, relevance, similarity) ставят оценку от 1 до 5, и порог выбирается под задачу: для игр допустим более жёсткий контент, чем для детского приложения. Доклад во многом про продукты Microsoft: Azure AI Foundry и AI Toolkit.

Кому полезно: тем, кто выводит агентов с инструментами в продакшен и хочет перейти от проверки пары промптов к систематической оценке.

Статья по теме

Главы

Ещё доклады: Cedric Vidal

Страница спикера →

Похожие доклады