От транскрипции к живой музыке: аудиостек Gemini
From Transcription to Live Music: Gemini's Audio Stack — Thor Schaeff, Google DeepMind
Один запрос к Gemini заменяет цепочку транскрипция–анализ–перевод для аудио, а голос и разговор в реальном времени задаются промптом, по словам автора.
- Анализ записи одним вызовом — Gemini 3 Flash Preview за один запрос размечает спикеров с таймкодами, определяет язык и эмоцию, переводит неанглийские фрагменты и пишет краткое содержание. Структура ответа задаётся схемой, и результат сразу выводится в интерфейс.
- Голос через режиссуру — вместо поиска по большой библиотеке голосов задаются акцент, сцена и манера речи текстом в духе режиссёрских указаний. Базовых голосов в Gemini около 30.
- Live без цепочки STT и LLM — Gemini 3.1 Flash Live принимает аудио, текст и видео по WebSocket и отвечает голосом. По словам спикера, рассуждение встроено в аудиомодель, а видео ограничено одним кадром в секунду.
- Tool calling в голосовом разговоре — Live-модель по голосовой просьбе вызывает Lyria как инструмент и генерирует песню. Lyria 3 Clip делает 30-секундный джингл, Lyria 3 Pro — полноформатную песню с текстом.
Кому полезно: разработчикам, которые выбирают между Gemini API и своим пайплайном для голосовых агентов или анализа записей. Доклад — презентация продуктов Google DeepMind с демо, сравнения с конкурентами в нём нет.
Статья по теме
На какие вопросы отвечает доклад
Как за один запрос к модели получить из аудио говорящих, эмоции, язык и структурированный ответ?
Спикер показывает приложение EchoScript на Gemini 3 Flash Preview: один API-запрос возвращает таймкоды, говорящих по имени при наличии контекста, язык, эмоцию из заданного списка, перевод неанглийской речи и резюме. Структура задаётся response schema.
▶ 4:10EchoScript: многоязычный анализ аудио и структурированные результатыКак заставить TTS говорить с нужным акцентом и в нужной сцене, если голосов мало?
По словам спикера, в Gemini около 30 базовых голосов, и их направляют режиссёрскими заметками: профиль аудио, сцена, инструкции к подаче и пример текста. Модель меняет акцент и манеру, например ирландский паб или сингапурский хокер-центр.
▶ 9:35Генерация речи по заметкам режиссёра и синтетические голосаКак сделать голосового ассистента, который отвечает в реальном времени и видит камеру или экран?
Gemini 3.1 Flash Live принимает аудио, текст и видео через WebSocket и отвечает голосом в реальном времени. Видео отправляется максимум по одному кадру в секунду. Системные инструкции задают стиль, например акцент.
▶ 13:32Gemini Live: многоязычный разговор в реальном времени с поддержкой камерыЧем speech-to-speech модель отличается от цепочки распознавание, LLM, синтез речи?
По словам спикера, рассуждение встроено в аудиомодель Gemini 3.1 Flash Live, поэтому не нужен отдельный проход через текст и LLM. Модель работает full duplex и отвечает аудио с текстовой расшифровкой.
▶ 9:35Генерация речи по заметкам режиссёра и синтетические голосаКак дать голосовой модели инструмент, который генерирует песню по запросу пользователя?
Спикер собрал демо Live Jukebox: Gemini Live вызывает инструмент, который через Lyria 3 создаёт песню с текстом. Lyria 3 Clip делает 30-секундный джингл, Lyria 3 Pro генерирует полную песню.
▶ 16:09Интерактивная генерация музыки и завершение конференцииКак помочь coding агентам правильно писать код для Live API с real-time аудио?
Google опубликовал skills для coding агентов по всем Gemini API, включая Live API. По словам спикера, работа с real-time аудио сложнее обычной, и skills помогают направлять агентов к нужному результату.
▶ 13:32Gemini Live: многоязычный разговор в реальном времени с поддержкой камеры
Главы
Ещё доклады: Thor Schaeff
Страница спикера →Создание разговорных AI-агентов
AI Engineer World's Fair 2025
Создание conversational agents
AI Engineer Europe 2026
Агент, ты меня слышишь? Создаём голосовых агентов в реальном времени с Gemini
AI Engineer World's Fair 2026
Похожие доклады
Больше никаких корявых AI-транскрипций
Byungjoong, Jaehan, Myungjong Kim, Travis Bartley
AI Engineer World's Fair 2025
Близко по содержанию
Realtime-AI не выживет
Kwindla Hultman Kramer, Sean DuBois
AI Engineer World's Fair 2025
Близко по содержанию

