Исследования speech-to-speech моделей в Google DeepMind
Speech-to-Speech Model Research at Google DeepMind — Valeria Wu Fon & Tom Ouyang, Google DeepMind
Голосовые агенты выигрывают от одной speech-to-speech модели, обученной вместе на аудио, видео и тексте, а не от цепочки ASR и TTS, по словам авторов из Google DeepMind.
- От цепочки к единой модели — классические пайплайны только распознавали речь и не умели отвечать или переводить. Мультимодальный pre-training на чередующихся аудио, видео и текстовых примерах даёт общее пространство токенов, на котором держатся все задачи модели.
- Перевод в реальном времени — потоковый перевод в Google Meet поддерживает более 70 языков и задаётся обычным промптом. По словам авторов, его качество близко к оффлайн-системам.
- Задержка против интеллекта — больший бюджет размышлений повышает качество на evals, но растёт время до первого звука и страдает естественность разговора. Команда ищет баланс между этими свойствами.
- Proactive audio — модель сама решает, отвечать ли на чужую речь или фоновый шум. Это нужно для разговоров в дороге и на улице, где тишины не бывает.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и решает, нужна ли speech-to-speech модель вместо цепочки ASR и TTS.
Статья по теме
Главы
Похожие доклады
Масштабирование голосового AI
AI Engineer World's Fair 2025
Близко по содержанию
EMMA от Waymo: как научить автомобили мыслить
AI Engineer World's Fair 2025
Близко по содержанию
Создание conversational agents
AI Engineer Europe 2026
Близко по содержанию
От текста к зрению и голосу: мультимодальность с OpenAI
AI Engineer World's Fair 2024
Близко по содержанию


