← Каталог

· AI Engineer Europe 2026

Почему модели TTS теперь похожи на LLM

Why TTS Models Now Look Like LLMs — Samuel Humeau, Mistral

Современные TTS-модели устроены как языковые модели: кодек сжимает аудио в дискретные токены, а авторегрессивный трансформер генерирует их кадр за кадром.

  • Битрейт против смысла — стандартный MP3 идёт на 200 кбит/с, а, по измерению спикера, в устной речи около 15 бит/с смысла, поэтому кодек сводит аудио примерно к 500 токенам в секунду.
  • Кадр как блок токенов — каждый 80-миллисекундный кадр описывается 37 токенами, которые модель Voxtral TTS генерирует сразу диффузионной моделью (flow matching), а не по одному; основной трансформер работает на уровне кадров и имеет 4 млрд параметров.
  • Задержка до первого звука — по словам автора, на одном GPU без сети проходит около 17 миллисекунд от входного текста до первого аудиопакета, поэтому воспроизведение начинается раньше окончания генерации.
  • Открытость с оговоркой — веса модели открыты, но encoder для клонирования голоса не опубликован, и клонирование голоса по нескольким секундам записи пока доступно только в проприетарном виде.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и выбирает архитектуру TTS.

Статья по теме

Главы

Похожие доклады