· AI Engineer World's Fair 2025
Превосходство в создании агентов: оценка AI-агентов с помощью Azure AI Evaluation SDK
Agentic Excellence: Mastering Evaluation of AI Agents with Azure AI Evaluation SDK
Оценку AI-агента нужно начинать с первых дней разработки: сначала ручная проверка отдельных примеров, затем автоматическая оценка на датасете.
- Слои защиты — безопасность модели и системы в Azure обеспечивает платформа, а системное сообщение, grounding и дизайн приложения настраивает разработчик, и защита строится на всех слоях вместе.
- Ручная проверка до масштаба — сравнение моделей на отдельных промптах в AI Toolkit для Visual Studio Code показывает то, что усреднённая метрика скрывает. Спикер предпочёл ответ GPT-4.1, который при этом заметно быстрее GPT-4o.
- Оценка всей системы — агент на Playwright MCP и GPT-4.1 извлекал данные о событии, перешёл с одной страницы на другую и нашёл число участников, которого на первой странице не было. Такие переходы проще проверить, оценивая агента целиком, а не модель.
- Порог под продукт — встроенные evaluators (groundedness, fluency, coherence, relevance, similarity) ставят оценку от 1 до 5, и порог выбирается под задачу: для игр допустим более жёсткий контент, чем для детского приложения. Доклад во многом про продукты Microsoft: Azure AI Foundry и AI Toolkit.
Кому полезно: тем, кто выводит агентов с инструментами в продакшен и хочет перейти от проверки пары промптов к систематической оценке.
Статья по теме
Главы
Ещё доклады: Cedric Vidal
Страница спикера →Инновации в Azure AI: несколько моделей, модальности и агенты
AI Engineer World's Fair 2024
Создание AI-агентов с подходом code-first на Azure AI Agent Service
AI Engineer World's Fair 2025
Создание, оценка и развёртывание ритейл-копилота на базе RAG с Azure AI
Cedric Vidal, David Smith, Miguel Martinez
AI Engineer World's Fair 2024
Похожие доклады
Агент для red teaming ИИ: Azure AI Foundry
Keiji Kanazawa, Nagkumar Arkalgud
AI Engineer World's Fair 2025
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
[Воркшоп по evals] Оценка AI: от playground до production
AI Engineer World's Fair 2025
Близко по содержанию
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Близко по содержанию

