← Каталог

· AI Engineer Summit 2023

Storyteller: создание мультимодальных приложений с TypeScript и ModelFusion

Storyteller: Building Multi-modal Apps with TS & ModelFusion - Lars Grammel, PhD

Стриминг частично разобранной структуры ответа LLM позволяет озвучивать сказку по частям, не дожидаясь полного текста, который, по словам спикера, занимал полторы минуты.

  • Стриминг структуры вместо токенов — приложение на каждом шаге разбирает частично готовый ответ с репликами и говорящими и понимает, какой фрагмент уже можно озвучить. Синтез речи запускается для каждой готовой части, пока модель пишет остальное.
  • Параллельные задачи после плана — заголовок, иллюстрация и озвучка запускаются одновременно, как только готов план сюжета; клиент получает результаты через server-sent events по мере их появления.
  • Подбор голоса по описанию — для нового персонажа модель генерирует пол и описание голоса, затем выполняется поиск по embeddings описаний голосов с фильтром по полу, а уже выбранные голоса не повторяются.
  • Выбор моделей под скорость — по словам спикера, Whisper расшифровывал короткую тему примерно за полторы секунды, а gpt-3.5-turbo-instruct писал план примерно за четыре секунды, поэтому модели выбирались по времени отклика, а не только по качеству.

Кому полезно: тем, кто строит голосовые или мультимодальные приложения с долгой генерацией и хочет показывать результат до её окончания.

Статья по теме

Главы

Похожие доклады