· AI Engineer World's Fair 2026
Агент, ты меня слышишь? Создаём голосовых агентов в реальном времени с Gemini
Can Your Agent Hear You Now? Building Live Voice Agents with Gemini — Thor Schaeff
Голосовой агент на Live API строится как stateful WebSocket-сессия с нативной аудиомоделью, где инструменты вызываются прямо из разговора.
- Сессия вместо запроса — Live API держит одно WebSocket-соединение: текст, аудио и видеокадры уходят в модель, а ответ возвращается потоком аудиочанков вместе с транскриптом.
- Нативное аудио против каскада — модель понимает речь напрямую, без промежуточного текста, и отвечает на одном из 90 языков, поддерживаемых в preview. Пользователь может перебивать модель во время ответа.
- Инструменты из голосового диалога — tool call из сессии может запустить генерацию музыки в Lyria 3 или обратиться к CRM и создать тикет. По словам спикера, это один и тот же паттерн.
- Согласованность между генерациями — Interactions API хранит состояние: каждый следующий запрос передаёт ID предыдущего взаимодействия, поэтому персонажи и визуальный стиль сохраняются между картинками. Генерация одной картинки занимает 2–3 секунды.
Кому полезно: тем, кто строит голосовых агентов с вызовом инструментов и несколькими языками. Доклад во многом показывает продукты Google, но архитектура Live API описана конкретно.
Статья по теме
Главы
Ещё доклады: Thor Schaeff
Страница спикера →От транскрипции к живой музыке: аудиостек Gemini
AI Engineer Europe 2026
Создание разговорных AI-агентов
AI Engineer World's Fair 2025
Создание conversational agents
AI Engineer Europe 2026
Похожие доклады
Как Google DeepMind исследует следующий рубеж ИИ для Gemini
AI Engineer Europe 2026
Близко по содержанию
Realtime-AI не выживет
Kwindla Hultman Kramer, Sean DuBois
AI Engineer World's Fair 2025
Близко по содержанию

