← Каталог

· AI Engineer Europe 2026

От транскрипции к живой музыке: аудиостек Gemini

From Transcription to Live Music: Gemini's Audio Stack — Thor Schaeff, Google DeepMind

Один запрос к Gemini заменяет цепочку транскрипция–анализ–перевод для аудио, а голос и разговор в реальном времени задаются промптом, по словам автора.

  • Анализ записи одним вызовом — Gemini 3 Flash Preview за один запрос размечает спикеров с таймкодами, определяет язык и эмоцию, переводит неанглийские фрагменты и пишет краткое содержание. Структура ответа задаётся схемой, и результат сразу выводится в интерфейс.
  • Голос через режиссуру — вместо поиска по большой библиотеке голосов задаются акцент, сцена и манера речи текстом в духе режиссёрских указаний. Базовых голосов в Gemini около 30.
  • Live без цепочки STT и LLM — Gemini 3.1 Flash Live принимает аудио, текст и видео по WebSocket и отвечает голосом. По словам спикера, рассуждение встроено в аудиомодель, а видео ограничено одним кадром в секунду.
  • Tool calling в голосовом разговоре — Live-модель по голосовой просьбе вызывает Lyria как инструмент и генерирует песню. Lyria 3 Clip делает 30-секундный джингл, Lyria 3 Pro — полноформатную песню с текстом.

Кому полезно: разработчикам, которые выбирают между Gemini API и своим пайплайном для голосовых агентов или анализа записей. Доклад — презентация продуктов Google DeepMind с демо, сравнения с конкурентами в нём нет.

Статья по теме

На какие вопросы отвечает доклад

  • Как за один запрос к модели получить из аудио говорящих, эмоции, язык и структурированный ответ?

    Спикер показывает приложение EchoScript на Gemini 3 Flash Preview: один API-запрос возвращает таймкоды, говорящих по имени при наличии контекста, язык, эмоцию из заданного списка, перевод неанглийской речи и резюме. Структура задаётся response schema.

    ▶ 4:10EchoScript: многоязычный анализ аудио и структурированные результаты
  • Как заставить TTS говорить с нужным акцентом и в нужной сцене, если голосов мало?

    По словам спикера, в Gemini около 30 базовых голосов, и их направляют режиссёрскими заметками: профиль аудио, сцена, инструкции к подаче и пример текста. Модель меняет акцент и манеру, например ирландский паб или сингапурский хокер-центр.

    ▶ 9:35Генерация речи по заметкам режиссёра и синтетические голоса
  • Как сделать голосового ассистента, который отвечает в реальном времени и видит камеру или экран?

    Gemini 3.1 Flash Live принимает аудио, текст и видео через WebSocket и отвечает голосом в реальном времени. Видео отправляется максимум по одному кадру в секунду. Системные инструкции задают стиль, например акцент.

    ▶ 13:32Gemini Live: многоязычный разговор в реальном времени с поддержкой камеры
  • Чем speech-to-speech модель отличается от цепочки распознавание, LLM, синтез речи?

    По словам спикера, рассуждение встроено в аудиомодель Gemini 3.1 Flash Live, поэтому не нужен отдельный проход через текст и LLM. Модель работает full duplex и отвечает аудио с текстовой расшифровкой.

    ▶ 9:35Генерация речи по заметкам режиссёра и синтетические голоса
  • Как дать голосовой модели инструмент, который генерирует песню по запросу пользователя?

    Спикер собрал демо Live Jukebox: Gemini Live вызывает инструмент, который через Lyria 3 создаёт песню с текстом. Lyria 3 Clip делает 30-секундный джингл, Lyria 3 Pro генерирует полную песню.

    ▶ 16:09Интерактивная генерация музыки и завершение конференции
  • Как помочь coding агентам правильно писать код для Live API с real-time аудио?

    Google опубликовал skills для coding агентов по всем Gemini API, включая Live API. По словам спикера, работа с real-time аудио сложнее обычной, и skills помогают направлять агентов к нужному результату.

    ▶ 13:32Gemini Live: многоязычный разговор в реальном времени с поддержкой камеры

Главы

Ещё доклады: Thor Schaeff

Страница спикера →

Похожие доклады