← Каталог

· AI Engineer World's Fair 2026

Когда моя гитара нежно заговорит

While my guitar gently speaks

Гитару можно заставить говорить и петь на классической цифровой обработке сигнала, а тяжёлую обработку голоса приходится считать заранее.

  • Pitch detection для ноты с гитары — алгоритм YIN выделяет основную частоту сигнала, по ней строится синтезированная пилообразная волна с огибающей ADSR, которая затем проходит через вокодер с голосовым сэмплом. Так игра на гитаре превращается в пение.
  • Предобработка голоса — спикер взял записи вокалистов из датасета VocalSet, сдвинул их высоту через WORLD и привязал каждый лад к своему сэмплу. По его словам, процесс слишком тяжёлый для живого исполнения, поэтому сэмплы готовятся заранее; начинал он с пяти гласных.
  • Нарезка речи по слогам — сегментация по провалам энергии и пикам сонорности работает не идеально, поэтому границы слов в итоге правятся вручную.
  • Разговорный цикл — речь переводится в текст через Whisper, локальная языковая модель отвечает, а ответ озвучивается гитарой. По словам спикера, работает, но с рывками.

Кому полезно: инженерам, которые делают голосовые или аудиоэффекты в реальном времени и хотят понять, какие части можно вынести в офлайн-подготовку.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады