← Каталог

· AI Engineer World's Fair 2026

Агент, ты меня слышишь? Создаём голосовых агентов в реальном времени с Gemini

Can Your Agent Hear You Now? Building Live Voice Agents with Gemini — Thor Schaeff

Голосовой агент на Live API строится как stateful WebSocket-сессия с нативной аудиомоделью, где инструменты вызываются прямо из разговора.

  • Сессия вместо запроса — Live API держит одно WebSocket-соединение: текст, аудио и видеокадры уходят в модель, а ответ возвращается потоком аудиочанков вместе с транскриптом.
  • Нативное аудио против каскада — модель понимает речь напрямую, без промежуточного текста, и отвечает на одном из 90 языков, поддерживаемых в preview. Пользователь может перебивать модель во время ответа.
  • Инструменты из голосового диалога — tool call из сессии может запустить генерацию музыки в Lyria 3 или обратиться к CRM и создать тикет. По словам спикера, это один и тот же паттерн.
  • Согласованность между генерациями — Interactions API хранит состояние: каждый следующий запрос передаёт ID предыдущего взаимодействия, поэтому персонажи и визуальный стиль сохраняются между картинками. Генерация одной картинки занимает 2–3 секунды.

Кому полезно: тем, кто строит голосовых агентов с вызовом инструментов и несколькими языками. Доклад во многом показывает продукты Google, но архитектура Live API описана конкретно.

Статья по теме

Главы

Ещё доклады: Thor Schaeff

Страница спикера →

Похожие доклады