· AI Engineer World's Fair 2024
Создание и масштабирование собственных copilots с помощью Azure AI Studio
Creating and scaling your own custom copilots with Azure AI Studio
Трейсинг, собственные метрики и мониторинг в Prompt flow, по словам авторов, дают данные для выбора модели и контроля стоимости кастомного копилота.
- Трейсинг через декоратор — декоратор
traceзаписывает входы, выходы и вызовы LLM внутри функций в виде OpenTelemetry-трейсов, поэтому их можно отправлять в Azure Monitor и смотреть вместе с трейсами остальных сервисов. - Свои метрики для перевода вопроса в SQL — помимо встроенного evaluator безопасности контента, спикер считает время выполнения, долю ошибок и схожесть сгенерированного SQL с эталонным запросом.
- Сравнение моделей на своём датасете — по результатам спикера, GPT-4 Turbo дал самую высокую схожесть SQL, но был самым медленным, поэтому при неважной скорости он лучший выбор.
- Расход токенов — в дашборде Application Insights большая часть токенов уходила на prompt, и спикер советует сокращать шаблоны промптов, если важна стоимость.
Кому полезно: тем, кто выводит в продакшен LLM-приложение с вызовом инструментов и хочет сравнивать модели по собственным метрикам. Доклад в основном презентует продукты Azure AI Studio и Prompt flow, но инженерная часть про наблюдаемость полезна сама по себе.
Статья по теме
Главы
Похожие доклады
Превосходство в создании агентов: оценка AI-агентов с помощью Azure AI Evaluation SDK
AI Engineer World's Fair 2025
Близко по содержанию
Опыт Snorkel AI по запуску решений на инфраструктуре Azure AI
AI Engineer World's Fair 2024
Близко по содержанию
От ноутбука к CI-пайплайну: масштабирование собственных agents с GitHub Copilot
AI Engineer World's Fair 2026
Близко по содержанию
Создание, оценка и развёртывание ритейл-копилота на базе RAG с Azure AI
Cedric Vidal, David Smith, Miguel Martinez
AI Engineer World's Fair 2024
Близко по содержанию

