← Каталог

· AI Engineer World's Fair 2024

Инновации в Azure AI: несколько моделей, модальности и агенты

Multi-model, multimodal, and multi-agent innovations in Azure AI

Мультимодальные модели вроде GPT-4o, по словам автора, читают фото и рукописный текст и рассуждают над ним за один проход, без связки OCR и LLM.

  • Vision вместо OCR — GPT-4o распознаёт меню, напечатанное и написанное мелом на доске, переводит его и отвечает, какие блюда веганские. По словам спикера, модель использует одно внутреннее представление для изображений и текста, а не извлекает текст отдельным шагом.
  • Serverless или своя инфраструктура — serverless оплачивается за токены, а инфраструктуру ведёт вендор. При собственном деплое GPU оплачиваются, даже когда эндпоинт простаивает.
  • Малые модели в браузере — Phi-3 на 3,8 млрд параметров в 4-битном квантовании работает через WebGPU без сети, что подходит для чувствительных данных.
  • Groundedness для RAG — встроенная в Azure AI Studio оценка измеряет coherence, groundedness и relevance по шкале от 1 до 5. Groundedness показывает, опирается ли ответ на документы индекса.

Кому полезно: тем, кто выбирает способ деплоя моделей и проверяет RAG-ответы в Azure.

Статья по теме

Главы

Ещё доклады: Cedric Vidal

Страница спикера →

Похожие доклады