· AI Engineer World's Fair 2024
Ускорьте внедрение ИИ с каталогом моделей Azure AI
Accelerate your AI journey with Azure AI model catalog
Смена модели в Azure AI Model Catalog, по словам авторов, требует только смены endpoint, потому что все модели вызываются единым API.
- Один API для всех моделей — модели каталога, от GPT-4o до Mistral, Llama и Cohere, вызываются единой REST-схемой и SDK, поэтому замена модели сводится к смене endpoint.
- Сравнение моделей в prompt flow — варианты одного flow с разными моделями, например Cohere Command R, Llama 3 и Mistral Large, сравниваются встроенной оценкой по выбранным параметрам.
- Два способа деплоя — serverless API оплачивается по входным и выходным токенам, managed compute по часам виртуальных машин, но тогда квоты и мощности управляет сам пользователь.
- Приватность — по словам авторов, промпты и ответы не передаются провайдерам моделей и не идут на обучение; курированные модели проверяются сканером HiddenLayer на вредоносный код и бэкдоры.
Кому полезно: командам, которые выбирают между несколькими LLM на Azure; по сути это презентация продукта Microsoft.
Статья по теме
Главы
Похожие доклады
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Близко по содержанию
RAG в масштабе: готовые к production GenAI-приложения с Azure AI Search
AI Engineer World's Fair 2024
Близко по содержанию
Как устроены большие языковые модели Mistral AI
Devendra Chaplot, Devendra Singh Chaplot
AI Engineer World's Fair 2024
Близко по содержанию
Рост популярности открытых моделей в корпоративном секторе
AI Engineer World's Fair 2025
Близко по содержанию


