· AI Engineer World's Fair 2024
От текста к зрению и голосу: мультимодальность с OpenAI
From Text to Vision to Voice: Exploring Multimodality with OpenAI
GPT-4o объединяет текст, аудио и изображение в одной модели, и по словам спикера это даёт быстрый голосовой диалог без сборки из трёх моделей.
- Голос без пайплайна — раньше голосовой ассистент строился из Whisper, GPT-4 и text-to-speech, что добавляло задержку и теряло контекст; в GPT-4o всё работает в одной модели.
- Цена и скорость — по словам спикера, GPT-4o вдвое быстрее GPT-4 Turbo и вдвое дешевле, а цена GPT-4 за год снизилась на 80%.
- Batch API для фоновой обработки — документы и изображения можно отправлять пакетами со скидкой 50%.
- Дообучение под предметную область — стартап Harvey дообучил GPT-4 на американской судебной практике; спикер называет результаты хорошими, но цифр не приводит.
Кому полезно: тем, кто проектирует голосовые или мультимодальные интерфейсы на API и выбирает между единой моделью и связкой отдельных моделей.
Статья по теме
Главы
Ещё доклады: Romain Huet
Страница спикера →Золотой век AI-инжиниринга
Peter Steinberger, Romain Huet, Alexander Embiricos
AI Engineer World's Fair 2026
Похожие доклады
Исследования speech-to-speech моделей в Google DeepMind
Близко по содержанию
Создание голосовых агентов с OpenAI
AI Engineer World's Fair 2025
Близко по содержанию
Эпоха продуктов без границ: дизайн мультимодального ввода-вывода
AI Engineer World's Fair 2024
Близко по содержанию
Инновации в Azure AI: несколько моделей, модальности и агенты
AI Engineer World's Fair 2024
Близко по содержанию

