· AI Engineer World's Fair 2025
Подготовка данных и fine-tuning модели синтеза речи
Text-to-Speech Data Preparation and Fine-tuning Workshop - Ronan McGovern
Связка voice cloning и дообучения CSM-1B на 30 минутах одного голоса, по словам автора, звучит ближе к оригиналу, чем каждый метод отдельно.
- Два трансформера на каждое окно — CSM-1B на одном временном окне предсказывает 32 аудиотокена: нулевой выдаёт основной трансформер примерно на миллиард параметров, остальные 31 декодирует меньшая depth decoder модель.
- Датасет из YouTube — аудио скачивается через yt-dlp, Whisper turbo расшифровывает его, а сегменты склеиваются до 30 секунд. По опыту автора, фрагментов по 10–20 секунд мало, а около 50 фрагментов по 30 секунд уже дают заметный эффект.
- Клонирование и дообучение решают разные задачи — клонирование по образцу аудио приближает голос, но без дообучения голос в каждом запуске случайный из-за ненулевой temperature. LoRA-адаптеры (rank 32, около 2% параметров) обучаются на Colab с T4, а loss за один прогон упал с 6,34 до 3,72.
- Что осталось недоработанным — акцент и интонация не совпадают с оригиналом, а в обучении не было eval-набора. Автор советует следить за eval loss и Grad Norm и увеличивать датасет, чтобы улучшить результат.
Кому полезно: тем, кто хочет адаптировать TTS-модель под конкретный голос на одной GPU класса T4 в Colab.
Статья по теме
Главы
Ещё доклады: Ronan McGovern
Страница спикера →Практикум по fine-tuning MCP-агента
AI Engineer World's Fair 2025
Похожие доклады
Создание разговорных AI-агентов
AI Engineer World's Fair 2025
Близко по содержанию
Обучение Krea 2: что важно при обучении генеративных моделей
AI Engineer World's Fair 2026
Близко по содержанию
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Близко по содержанию
Исследования speech-to-speech моделей в Google DeepMind
Близко по содержанию
