· AI Engineer World's Fair 2024
Создание и масштабирование роя голосовых ботов для работы в реальном времени
Building & Scaling an AI Agent Swarm of low latency real time voice bots!
Низкую задержку голосового агента проще получить из одного API «аудио на вход, аудио на выход», где LLM сама вызывает функции бэкенда.
- Задержка раздельного стека — при связке отдельных STT, LLM и TTS, по словам спикера, STT занимает около 500 мс, а LLM вместе с TTS около 700 мс. Self-hosted STT, по его данным, отвечает примерно за 50 мс, а в hosted API задержка ближе к полусекунде.
- Function calling без логики на клиенте — модель сама решает, когда добавить позицию в заказ, и бэкенд обновляет состояние. Клиент только читает заказ запросами и не парсит ответы LLM.
- Перебивание (barge-in) — при обнаружении речи клиент должен сразу остановить проигрывание, а не ждать сервер. Для телефонии спикер советует отправлять аудио чанками по 20 мс, так меньше задержка.
- Долгие вызовы — тяжёлую функцию лучше вынести в фоновую задачу, а результат передать LLM через webhook. Для длинных разговоров история не должна расти в system prompt, нужна система памяти.
Кому полезно: тем, кто выводит голосовых агентов в продакшен на телефонии; доклад во многом показывает API Deepgram, но архитектурные решения переносимы.
Статья по теме
Главы
Ещё доклады: Damien Murphy
Страница спикера →A2A и MCP: автоматизация бизнес-процессов с помощью LLM
AI Engineer World's Fair 2025
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Полный воркшоп: голосовой AI в реальном времени
Aleix Conchillo Flaqué, Mark Backman
AI Engineer World's Fair 2025
Близко по содержанию
Realtime-AI не выживет
Kwindla Hultman Kramer, Sean DuBois
AI Engineer World's Fair 2025
Близко по содержанию

