· AI Engineer World's Fair 2025
Разговорное видео в реальном времени с Pipecat и Tavus
Realtime Conversational Video with Pipecat and Tavus — Chad Bailey and Brian Johnson, Daily & Tavus
Разговорный видеоагент в реальном времени держится на оркестрационном слое: Pipecat соединяет распознавание речи, LLM, синтез речи и видеоаватар Tavus в один асинхронный конвейер с низкой задержкой.
- Конвейер из frames, processors и pipelines — медиа идёт потоком кадров: аудио приходит порциями по 10–20 мс, а VAD тоже попадает в конвейер как frame. Processors обрабатывают кадры асинхронно и стараются минимизировать задержку каждого фрагмента.
- Параллельные ветки — parallel pipelines позволяют запускать второй LLM, например для анализа тональности. Один из пользователей Pipecat по аудио определяет, ответил человек или автоответчик, и направляет разговор в нужную ветку.
- Turn detection и response timing — по словам спикеров, Tavus переносит в Pipecat модель определения конца реплики и модель выбора времени ответа, чтобы бот не перебивал собеседника и не тормозил в болтовне.
- Деплой через REST API — приложение запрашивает бота через REST API, сервис быстро поднимает новый экземпляр и подключает его к пользователю по транспорту, например WebRTC. Pipecat Cloud закрывает масштабирование, если не хочется заниматься Kubernetes.
Кому полезно: тем, кто выводит голосовых или видеоагентов в продакшен и сталкивается с перебиванием, задержками и развёртыванием ботов под нагрузкой.
Статья по теме
На какие вопросы отвечает доклад
Как синхронизировать видео аватара с голосом в real-time разговоре?
Видео генерирует модель по аудио, и она возвращает аудио и видео уже синхронизированными; транспорт отправляет оба потока пользователю. По словам спикеров, синхронизация зависит от архитектуры и её трудно сделать хорошо.
▶ 4:53Оркестрация Pipecat, синхронизированные медиа, кадры и процессорыПочему голосовой бот либо перебивает собеседника, либо отвечает слишком долго?
Быстрый пайплайн перебивает собеседника, медленный заставляет думать, что бот сломан. По словам спикеров, решение дают модель turn detection, которая определяет конец реплики, и модель response timing, которая решает, когда отвечать.
▶ 13:55Обсуждение архитектуры и развертывание Pipecat CloudКак отлаживать задержки голосового бота и понимать, почему он так себя ведёт в продакшене?
Pipecat даёт observability и метрики по работе бота, а его фреймы, процессоры и пайплайн работают асинхронно, стремясь минимизировать задержку каждого фрейма. Отладочная панель показывает внутреннее состояние пайплайна.
▶ 4:53Оркестрация Pipecat, синхронизированные медиа, кадры и процессорыКак в голосовом боте ветвить логику в реальном времени, например отличать автоответчик от человека?
Используются параллельные пайплайны: отдельная модель классифицирует ответ на стороне собеседника, и по её сигналу пайплайн запускает ветку для автоответчика или для человека.
▶ 9:33Примеры пайплайнов и транспорты WebRTC/WebSocketКак развернуть голосового бота для многих пользователей без управления Kubernetes?
Нужен REST API, который по запросу пользователя быстро запускает экземпляр бота и подключает его через транспорт вроде WebRTC. Вариант без собственной инфраструктуры — Pipecat Cloud.
▶ 13:55Обсуждение архитектуры и развертывание Pipecat Cloud
Главы
Похожие доклады
Агент, ты меня слышишь? Создаём голосовых агентов в реальном времени с Gemini
AI Engineer World's Fair 2026
Близко по содержанию
Tolan: голосовой AI-компаньон
Близко по содержанию
VoiceOps: извлечение данных из шумных аудиопотоков с низкой задержкой
AI Engineer Europe 2026
Близко по содержанию
Новые примитивы: создание AI-native программного обеспечения
Kwindla Hultman Kramer, Kwindla Kramer
AI Engineer World's Fair 2026
Близко по содержанию


