← Каталог

· AI Engineer World's Fair 2025

Полный воркшоп: голосовой AI в реальном времени

Full Workshop: Realtime Voice AI — Mark Backman, Daily

Голосового агента на Gemini Live можно собрать из блоков Pipecat, но задержку, перебивания и определение конца реплики придётся решать отдельно.

  • Pipeline с заменяемыми блоками — транспорт, распознавание, LLM и синтез речи подключаются как процессоры, а параллельные ветки позволяют переключиться на другого вендора внутри того же разговора.
  • Семантический конец реплики — по словам авторов, модель smart-turn по аудио определяет, закончил ли человек фразу; если нет, таймаут VAD увеличивается, и агент не перебивает паузу на раздумье.
  • Локальный VAD — Silero работает на устройстве за миллисекунды и почти не нагружает CPU; по словам спикера, самая дорогая часть стоимости — символы TTS.
  • Контекст и вызов функций — вызов функции ждёт полный JSON, поэтому медленный; по словам спикера, большой контекст в Gemini Live отвечал примерно за 800 мс, но точность на похожих структурированных данных падала.

Кому полезно: тем, кто собирает голосовых агентов на LLM и хочет понять, где берётся задержка.

Статья по теме

Главы

Похожие доклады