← Каталог

· AI Engineer World's Fair 2024

Ускорьте внедрение ИИ с каталогом моделей Azure AI

Accelerate your AI journey with Azure AI model catalog

Смена модели в Azure AI Model Catalog, по словам авторов, требует только смены endpoint, потому что все модели вызываются единым API.

  • Один API для всех моделей — модели каталога, от GPT-4o до Mistral, Llama и Cohere, вызываются единой REST-схемой и SDK, поэтому замена модели сводится к смене endpoint.
  • Сравнение моделей в prompt flow — варианты одного flow с разными моделями, например Cohere Command R, Llama 3 и Mistral Large, сравниваются встроенной оценкой по выбранным параметрам.
  • Два способа деплоя — serverless API оплачивается по входным и выходным токенам, managed compute по часам виртуальных машин, но тогда квоты и мощности управляет сам пользователь.
  • Приватность — по словам авторов, промпты и ответы не передаются провайдерам моделей и не идут на обучение; курированные модели проверяются сканером HiddenLayer на вредоносный код и бэкдоры.

Кому полезно: командам, которые выбирают между несколькими LLM на Azure; по сути это презентация продукта Microsoft.

Статья по теме

Главы

Похожие доклады