· AI Engineer World's Fair 2024
Как создать самого быстрого в мире голосового бота
How to build the world's fastest voice bot
Голосовой агент с задержкой 500–700 мс, по словам спикера, реален, если распознавание речи, endpointing, LLM inference и синтез речи работают рядом в одном контейнере.
- Бюджет задержки по звеньям — микрофон ноутбука добавляет 30–40 мс, аккуратное распознавание речи укладывается в пару сотен миллисекунд, а первый токен LLM нужен примерно за 100 мс. Оптимистичная сумма получается 600–700 мс.
- Latency важнее throughput — LLM генерирует текст быстрее, чем его читают, а time to first token остаётся узким местом. По замерам спикера, у Gemini Pro он около 900 мс, то есть уже выше целевого бюджета.
- Модели под скорость — спикер использовал Deepgram для распознавания и синтеза речи, которые можно запускать on-premises в Docker, и Llama 3 8B, потому что 70B работала недостаточно быстро.
- Открытый код — Pipecat, open source фреймворк для оркестрации real-time голосовых и мультимодальных агентов, выросший из работы команды Daily и не привязанный к одному вендору.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и упирается в задержку ответа.
Статья по теме
Главы
Ещё доклады: Kwindla Hultman Kramer
Страница спикера →Новые примитивы: создание AI-native программного обеспечения
Kwindla Hultman Kramer, Kwindla Kramer
AI Engineer World's Fair 2026
Pipecat Cloud: корпоративные голосовые агенты на базе open source
AI Engineer World's Fair 2025
Realtime-AI не выживет
Kwindla Hultman Kramer, Sean DuBois
AI Engineer World's Fair 2025
Похожие доклады
Tolan: голосовой AI-компаньон
Близко по содержанию
Как разговаривать со статуями
AI Engineer Europe 2026
Близко по содержанию
