От текста к зрению и голосу: мультимодальность с OpenAI
AI Engineer World's Fair 2024
Загружаем страницу…
Голосовые агенты, STT и TTS, диалог в реальном времени, turn detection, синтез и клонирование голоса.
Спикеры строят голосовых агентов для телефонных звонков и разбирают то, что ломает их в жизни: задержку, перебивания, шум и транскрипт, который выглядит нормально, хотя звонок прошёл плохо. Есть доклады о Pipecat и Gemini Live API, о голосовом AI за 1 доллар в час на open source и LoRA и об исследованиях speech-to-speech моделей в Google DeepMind.
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Классическая схема состоит из трёх моделей. Распознавание речи (STT) переводит голос в текст, LLM решает, что ответить, синтез речи (TTS) озвучивает ответ. Есть и speech-to-speech модели, которые работают со звуком напрямую и отвечают быстрее.
Задержка складывается из распознавания, ответа модели, синтеза и сети, а паузу больше секунды человек уже замечает. Спикеры сокращают её стримингом на каждом шаге, малыми моделями и точным turn detection, чтобы агент понимал, что собеседник закончил фразу.