← Каталог

Исследования speech-to-speech моделей в Google DeepMind

Speech-to-Speech Model Research at Google DeepMind — Valeria Wu Fon & Tom Ouyang, Google DeepMind

Голосовые агенты выигрывают от одной speech-to-speech модели, обученной вместе на аудио, видео и тексте, а не от цепочки ASR и TTS, по словам авторов из Google DeepMind.

  • От цепочки к единой модели — классические пайплайны только распознавали речь и не умели отвечать или переводить. Мультимодальный pre-training на чередующихся аудио, видео и текстовых примерах даёт общее пространство токенов, на котором держатся все задачи модели.
  • Перевод в реальном времени — потоковый перевод в Google Meet поддерживает более 70 языков и задаётся обычным промптом. По словам авторов, его качество близко к оффлайн-системам.
  • Задержка против интеллекта — больший бюджет размышлений повышает качество на evals, но растёт время до первого звука и страдает естественность разговора. Команда ищет баланс между этими свойствами.
  • Proactive audio — модель сама решает, отвечать ли на чужую речь или фоновый шум. Это нужно для разговоров в дороге и на улице, где тишины не бывает.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и решает, нужна ли speech-to-speech модель вместо цепочки ASR и TTS.

Статья по теме

Главы

Похожие доклады