Агент, ты меня слышишь? Создаём голосовых агентов в реальном времени с Gemini
AI Engineer World's Fair 2026
Загружаем страницу…
Голосовые агенты, STT и TTS, диалог в реальном времени, turn detection, синтез и клонирование голоса.
Спикеры строят голосовых агентов для телефонных звонков и разбирают то, что ломает их в жизни: задержку, перебивания, шум и транскрипт, который выглядит нормально, хотя звонок прошёл плохо. Есть доклады о Pipecat и Gemini Live API, о голосовом AI за 1 доллар в час на open source и LoRA и об исследованиях speech-to-speech моделей в Google DeepMind.
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
Kwindla Hultman Kramer, Kwindla Kramer
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
Классическая схема состоит из трёх моделей. Распознавание речи (STT) переводит голос в текст, LLM решает, что ответить, синтез речи (TTS) озвучивает ответ. Есть и speech-to-speech модели, которые работают со звуком напрямую и отвечают быстрее.
Задержка складывается из распознавания, ответа модели, синтеза и сети, а паузу больше секунды человек уже замечает. Спикеры сокращают её стримингом на каждом шаге, малыми моделями и точным turn detection, чтобы агент понимал, что собеседник закончил фразу.