Почему модели TTS теперь похожи на LLM
Why TTS Models Now Look Like LLMs — Samuel Humeau, Mistral
Современные TTS-модели устроены как языковые модели: кодек сжимает аудио в дискретные токены, а авторегрессивный трансформер генерирует их кадр за кадром.
- Битрейт против смысла — стандартный MP3 идёт на 200 кбит/с, а, по измерению спикера, в устной речи около 15 бит/с смысла, поэтому кодек сводит аудио примерно к 500 токенам в секунду.
- Кадр как блок токенов — каждый 80-миллисекундный кадр описывается 37 токенами, которые модель Voxtral TTS генерирует сразу диффузионной моделью (flow matching), а не по одному; основной трансформер работает на уровне кадров и имеет 4 млрд параметров.
- Задержка до первого звука — по словам автора, на одном GPU без сети проходит около 17 миллисекунд от входного текста до первого аудиопакета, поэтому воспроизведение начинается раньше окончания генерации.
- Открытость с оговоркой — веса модели открыты, но encoder для клонирования голоса не опубликован, и клонирование голоса по нескольким секундам записи пока доступно только в проприетарном виде.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и выбирает архитектуру TTS.
Статья по теме
Главы
Похожие доклады
Разработка голосовых агентов: задержка, качество и масштабирование
AI Engineer Europe 2026
Близко по содержанию
От текста к зрению и голосу: мультимодальность с OpenAI
AI Engineer World's Fair 2024
Близко по содержанию
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Близко по содержанию
Разговорное видео в реальном времени с Pipecat и Tavus
AI Engineer World's Fair 2025
Близко по содержанию

