← Каталог

· AI Engineer World's Fair 2024

Генерация музыки с помощью ИИ: от промпта до готового трека

AI Music Generation: From Prompt to Production

Под AI-музыкой обычно имеют в виду voice conversion, а не генерацию по тексту, и для своих песен полезнее начинать с собственной лирики и записи.

  • Три класса AI-музыки — text-to-music, audio-to-music и style transfer, то есть voice conversion; по словам спикера, именно voice conversion чаще всего и называют AI-музыкой.
  • Udio и Suno под разные задачи — Udio, по словам спикера, работает как партнёр по песням: продлевает и переделывает 30-секундные фрагменты. Suno даёт чистое поп-звучание, а тайминг текста раньше сбивался, хотя спикер заметил улучшения за последние недели.
  • Лирика до генерации — по наблюдению спикера, модели дают более связный результат, когда текст готов заранее. GPT-4 по шаблону из доклада помогает написать лирику по описанию песни.
  • Стемы для правки — сервис WavTool разбивает трек Suno на инструменты и вокал, а open source UVR5 делает то же локально для любой песни.

Кому полезно: музыкантам и продюсерам, которые хотят набросать песни в Suno или Udio и доработать их на стемах.

Главы

Похожие доклады