← Каталог

· AI Engineer World's Fair 2024

Создание и масштабирование собственных copilots с помощью Azure AI Studio

Creating and scaling your own custom copilots with Azure AI Studio

Трейсинг, собственные метрики и мониторинг в Prompt flow, по словам авторов, дают данные для выбора модели и контроля стоимости кастомного копилота.

  • Трейсинг через декоратор — декоратор trace записывает входы, выходы и вызовы LLM внутри функций в виде OpenTelemetry-трейсов, поэтому их можно отправлять в Azure Monitor и смотреть вместе с трейсами остальных сервисов.
  • Свои метрики для перевода вопроса в SQL — помимо встроенного evaluator безопасности контента, спикер считает время выполнения, долю ошибок и схожесть сгенерированного SQL с эталонным запросом.
  • Сравнение моделей на своём датасете — по результатам спикера, GPT-4 Turbo дал самую высокую схожесть SQL, но был самым медленным, поэтому при неважной скорости он лучший выбор.
  • Расход токенов — в дашборде Application Insights большая часть токенов уходила на prompt, и спикер советует сокращать шаблоны промптов, если важна стоимость.

Кому полезно: тем, кто выводит в продакшен LLM-приложение с вызовом инструментов и хочет сравнивать модели по собственным метрикам. Доклад в основном презентует продукты Azure AI Studio и Prompt flow, но инженерная часть про наблюдаемость полезна сама по себе.

Статья по теме

Главы

Похожие доклады