VoiceVision RAG: визуальный поиск по документам с голосовыми ответами
AI Engineer World's Fair 2025
Загружаем страницу…
Голосовые агенты, STT и TTS, диалог в реальном времени, turn detection, синтез и клонирование голоса.
Спикеры строят голосовых агентов для телефонных звонков и разбирают то, что ломает их в жизни: задержку, перебивания, шум и транскрипт, который выглядит нормально, хотя звонок прошёл плохо. Есть доклады о Pipecat и Gemini Live API, о голосовом AI за 1 доллар в час на open source и LoRA и об исследованиях speech-to-speech моделей в Google DeepMind.
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
Aleix Conchillo Flaqué, Mark Backman
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
Byungjoong, Jaehan, Myungjong Kim, Travis Bartley
AI Engineer World's Fair 2025
Kwindla Kramer, Shrestha Basu Mallick
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
Kwindla Hultman Kramer, Sean DuBois
AI Engineer World's Fair 2025
Классическая схема состоит из трёх моделей. Распознавание речи (STT) переводит голос в текст, LLM решает, что ответить, синтез речи (TTS) озвучивает ответ. Есть и speech-to-speech модели, которые работают со звуком напрямую и отвечают быстрее.
Задержка складывается из распознавания, ответа модели, синтеза и сети, а паузу больше секунды человек уже замечает. Спикеры сокращают её стримингом на каждом шаге, малыми моделями и точным turn detection, чтобы агент понимал, что собеседник закончил фразу.