VoiceOps: извлечение данных из шумных аудиопотоков с низкой задержкой
AI Engineer Europe 2026
Загружаем страницу…
Голосовые агенты, STT и TTS, диалог в реальном времени, turn detection, синтез и клонирование голоса.
Спикеры строят голосовых агентов для телефонных звонков и разбирают то, что ломает их в жизни: задержку, перебивания, шум и транскрипт, который выглядит нормально, хотя звонок прошёл плохо. Есть доклады о Pipecat и Gemini Live API, о голосовом AI за 1 доллар в час на open source и LoRA и об исследованиях speech-to-speech моделей в Google DeepMind.
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
Классическая схема состоит из трёх моделей. Распознавание речи (STT) переводит голос в текст, LLM решает, что ответить, синтез речи (TTS) озвучивает ответ. Есть и speech-to-speech модели, которые работают со звуком напрямую и отвечают быстрее.
Задержка складывается из распознавания, ответа модели, синтеза и сети, а паузу больше секунды человек уже замечает. Спикеры сокращают её стримингом на каждом шаге, малыми моделями и точным turn detection, чтобы агент понимал, что собеседник закончил фразу.
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026
AI Engineer Europe 2026