· AI Engineer World's Fair 2024
Инновации в Azure AI: несколько моделей, модальности и агенты
Multi-model, multimodal, and multi-agent innovations in Azure AI
Мультимодальные модели вроде GPT-4o, по словам автора, читают фото и рукописный текст и рассуждают над ним за один проход, без связки OCR и LLM.
- Vision вместо OCR — GPT-4o распознаёт меню, напечатанное и написанное мелом на доске, переводит его и отвечает, какие блюда веганские. По словам спикера, модель использует одно внутреннее представление для изображений и текста, а не извлекает текст отдельным шагом.
- Serverless или своя инфраструктура — serverless оплачивается за токены, а инфраструктуру ведёт вендор. При собственном деплое GPU оплачиваются, даже когда эндпоинт простаивает.
- Малые модели в браузере — Phi-3 на 3,8 млрд параметров в 4-битном квантовании работает через WebGPU без сети, что подходит для чувствительных данных.
- Groundedness для RAG — встроенная в Azure AI Studio оценка измеряет coherence, groundedness и relevance по шкале от 1 до 5. Groundedness показывает, опирается ли ответ на документы индекса.
Кому полезно: тем, кто выбирает способ деплоя моделей и проверяет RAG-ответы в Azure.
- Мультимодальность и генеративные медиа
- Инференс, стоимость, открытые модели
- Кодинг-агенты и AI-native процесс
Статья по теме
Главы
Ещё доклады: Cedric Vidal
Страница спикера →Создание AI-агентов с подходом code-first на Azure AI Agent Service
AI Engineer World's Fair 2025
Создание, оценка и развёртывание ритейл-копилота на базе RAG с Azure AI
Cedric Vidal, David Smith, Miguel Martinez
AI Engineer World's Fair 2024
Превосходство в создании агентов: оценка AI-агентов с помощью Azure AI Evaluation SDK
AI Engineer World's Fair 2025
Похожие доклады
От текста к зрению и голосу: мультимодальность с OpenAI
AI Engineer World's Fair 2024
Близко по содержанию
Foundry Local: передовые AI-приложения на устройстве с ONNX Runtime и Olive
AI Engineer World's Fair 2025
Близко по содержанию
Видеть, слышать, говорить, рисовать
Logan Kilpatrick, Simón Fishman
AI Engineer Summit 2023
Близко по содержанию
Создание и запуск приложений на базе ИИ
AI Engineer Europe 2026
Близко по содержанию

