· AI Engineer World's Fair 2026
Когда моя гитара нежно заговорит
While my guitar gently speaks
Гитару можно заставить говорить и петь на классической цифровой обработке сигнала, а тяжёлую обработку голоса приходится считать заранее.
- Pitch detection для ноты с гитары — алгоритм YIN выделяет основную частоту сигнала, по ней строится синтезированная пилообразная волна с огибающей ADSR, которая затем проходит через вокодер с голосовым сэмплом. Так игра на гитаре превращается в пение.
- Предобработка голоса — спикер взял записи вокалистов из датасета VocalSet, сдвинул их высоту через WORLD и привязал каждый лад к своему сэмплу. По его словам, процесс слишком тяжёлый для живого исполнения, поэтому сэмплы готовятся заранее; начинал он с пяти гласных.
- Нарезка речи по слогам — сегментация по провалам энергии и пикам сонорности работает не идеально, поэтому границы слов в итоге правятся вручную.
- Разговорный цикл — речь переводится в текст через Whisper, локальная языковая модель отвечает, а ответ озвучивается гитарой. По словам спикера, работает, но с рывками.
Кому полезно: инженерам, которые делают голосовые или аудиоэффекты в реальном времени и хотят понять, какие части можно вынести в офлайн-подготовку.
Статья по теме
На какие вопросы отвечает доклад
Как определить высоту ноты с гитары в реальном времени, чтобы управлять синтезатором?
Алгоритм YIN находит основную частоту сыгранной ноты. По ней строится синтезированная пилообразная волна с ADSR-огибающей, которая затем проходит через вокодер.
▶ 10:21Определение высоты тона методом YIN, синтез, ADSR и демонстрации голоса ИИ в реальном времениКак автоматически разбить речь на слова и слоги для поочерёдного воспроизведения?
Сегментация по энергетическим разрывам режет запись по тишине, а sonority peak syllabifier ищет гласные как ядра слогов. Вместе они работают не идеально, поэтому автор правил сегменты вручную.
▶ 5:51JUCE, цифровые аудиостанции и первые эксперименты с говорящей гитаройПочему тяжёлую обработку голоса нельзя делать вживую и как её обойти?
Сдвиг высоты через WORLD на записях певцов из набора VocalSet занимает много времени, поэтому обработку сделали заранее, а каждый лад гитары привязали к готовому сэмплу.
▶ 16:05Компромиссы при предварительной обработке и призыв создаватьКак связать распознавание речи и локальную LLM, чтобы ответ сразу звучал на инструменте?
Whisper переводит речь в текст, локальная модель генерирует ответ, а текст озвучивается через гитарный синтез. По словам автора, работает, но звук получается прерывистым.
▶ 10:21Определение высоты тона методом YIN, синтез, ADSR и демонстрации голоса ИИ в реальном времениНа чём писать аудиоплагин для DAW, например Logic Pro, чтобы обрабатывать звук инструмента?
Автор использовал фреймворк JUCE для аудиопрограмм. Готовый плагин подключается в DAW как любой эффект в цепочке, рядом с обычными эффектами.
▶ 5:51JUCE, цифровые аудиостанции и первые эксперименты с говорящей гитарой
Главы
Похожие доклады
От транскрипции к живой музыке: аудиостек Gemini
AI Engineer Europe 2026
Близко по содержанию
Голос на входе, визуализация на выходе: агония и экстаз
AI Engineer World's Fair 2026
Близко по содержанию
Storyteller: создание мультимодальных приложений с TypeScript и ModelFusion
AI Engineer Summit 2023
Близко по содержанию
Reachy Mini: open source-робот за $300, который можно по-настоящему модифицировать
AI Engineer Europe 2026
Близко по содержанию

