← Каталог

· AI Engineer World's Fair 2024

От текста к зрению и голосу: мультимодальность с OpenAI

From Text to Vision to Voice: Exploring Multimodality with OpenAI

GPT-4o объединяет текст, аудио и изображение в одной модели, и по словам спикера это даёт быстрый голосовой диалог без сборки из трёх моделей.

  • Голос без пайплайна — раньше голосовой ассистент строился из Whisper, GPT-4 и text-to-speech, что добавляло задержку и теряло контекст; в GPT-4o всё работает в одной модели.
  • Цена и скорость — по словам спикера, GPT-4o вдвое быстрее GPT-4 Turbo и вдвое дешевле, а цена GPT-4 за год снизилась на 80%.
  • Batch API для фоновой обработки — документы и изображения можно отправлять пакетами со скидкой 50%.
  • Дообучение под предметную область — стартап Harvey дообучил GPT-4 на американской судебной практике; спикер называет результаты хорошими, но цифр не приводит.

Кому полезно: тем, кто проектирует голосовые или мультимодальные интерфейсы на API и выбирает между единой моделью и связкой отдельных моделей.

Статья по теме

Главы

Ещё доклады: Romain Huet

Страница спикера →

Похожие доклады