← Каталог

· AI Engineer World's Fair 2025

Подготовка данных и fine-tuning модели синтеза речи

Text-to-Speech Data Preparation and Fine-tuning Workshop - Ronan McGovern

Связка voice cloning и дообучения CSM-1B на 30 минутах одного голоса, по словам автора, звучит ближе к оригиналу, чем каждый метод отдельно.

  • Два трансформера на каждое окно — CSM-1B на одном временном окне предсказывает 32 аудиотокена: нулевой выдаёт основной трансформер примерно на миллиард параметров, остальные 31 декодирует меньшая depth decoder модель.
  • Датасет из YouTube — аудио скачивается через yt-dlp, Whisper turbo расшифровывает его, а сегменты склеиваются до 30 секунд. По опыту автора, фрагментов по 10–20 секунд мало, а около 50 фрагментов по 30 секунд уже дают заметный эффект.
  • Клонирование и дообучение решают разные задачи — клонирование по образцу аудио приближает голос, но без дообучения голос в каждом запуске случайный из-за ненулевой temperature. LoRA-адаптеры (rank 32, около 2% параметров) обучаются на Colab с T4, а loss за один прогон упал с 6,34 до 3,72.
  • Что осталось недоработанным — акцент и интонация не совпадают с оригиналом, а в обучении не было eval-набора. Автор советует следить за eval loss и Grad Norm и увеличивать датасет, чтобы улучшить результат.

Кому полезно: тем, кто хочет адаптировать TTS-модель под конкретный голос на одной GPU класса T4 в Colab.

Статья по теме

Главы

Ещё доклады: Ronan McGovern

Страница спикера →

Похожие доклады