Storyteller: создание мультимодальных приложений с TypeScript и ModelFusion
Storyteller: Building Multi-modal Apps with TS & ModelFusion - Lars Grammel, PhD
Стриминг частично разобранной структуры ответа LLM позволяет озвучивать сказку по частям, не дожидаясь полного текста, который, по словам спикера, занимал полторы минуты.
- Стриминг структуры вместо токенов — приложение на каждом шаге разбирает частично готовый ответ с репликами и говорящими и понимает, какой фрагмент уже можно озвучить. Синтез речи запускается для каждой готовой части, пока модель пишет остальное.
- Параллельные задачи после плана — заголовок, иллюстрация и озвучка запускаются одновременно, как только готов план сюжета; клиент получает результаты через server-sent events по мере их появления.
- Подбор голоса по описанию — для нового персонажа модель генерирует пол и описание голоса, затем выполняется поиск по embeddings описаний голосов с фильтром по полу, а уже выбранные голоса не повторяются.
- Выбор моделей под скорость — по словам спикера, Whisper расшифровывал короткую тему примерно за полторы секунды, а
gpt-3.5-turbo-instructписал план примерно за четыре секунды, поэтому модели выбирались по времени отклика, а не только по качеству.
Кому полезно: тем, кто строит голосовые или мультимодальные приложения с долгой генерацией и хочет показывать результат до её окончания.
Статья по теме
Главы
Похожие доклады
Агент, ты меня слышишь? Создаём голосовых агентов в реальном времени с Gemini
AI Engineer World's Fair 2026
Близко по содержанию
Tolan: голосовой AI-компаньон
Близко по содержанию
Подготовка данных и fine-tuning модели синтеза речи
AI Engineer World's Fair 2025
Близко по содержанию
Создание голосовых агентов с OpenAI
AI Engineer World's Fair 2025
Близко по содержанию

