Голосовой ИИ: ваш бот не особенный
AI Engineer Summit 2025
Загружаем страницу…
Голосовые агенты, STT и TTS, диалог в реальном времени, turn detection, синтез и клонирование голоса.
Спикеры строят голосовых агентов для телефонных звонков и разбирают то, что ломает их в жизни: задержку, перебивания, шум и транскрипт, который выглядит нормально, хотя звонок прошёл плохо. Есть доклады о Pipecat и Gemini Live API, о голосовом AI за 1 доллар в час на open source и LoRA и об исследованиях speech-to-speech моделей в Google DeepMind.
AI Engineer Summit 2025
AI Engineer Summit 2025
AI Engineer Summit 2025
Классическая схема состоит из трёх моделей. Распознавание речи (STT) переводит голос в текст, LLM решает, что ответить, синтез речи (TTS) озвучивает ответ. Есть и speech-to-speech модели, которые работают со звуком напрямую и отвечают быстрее.
Задержка складывается из распознавания, ответа модели, синтеза и сети, а паузу больше секунды человек уже замечает. Спикеры сокращают её стримингом на каждом шаге, малыми моделями и точным turn detection, чтобы агент понимал, что собеседник закончил фразу.