← Каталог

· AI Engineer World's Fair 2024

Как создать самого быстрого в мире голосового бота

How to build the world's fastest voice bot

Голосовой агент с задержкой 500–700 мс, по словам спикера, реален, если распознавание речи, endpointing, LLM inference и синтез речи работают рядом в одном контейнере.

  • Бюджет задержки по звеньям — микрофон ноутбука добавляет 30–40 мс, аккуратное распознавание речи укладывается в пару сотен миллисекунд, а первый токен LLM нужен примерно за 100 мс. Оптимистичная сумма получается 600–700 мс.
  • Latency важнее throughput — LLM генерирует текст быстрее, чем его читают, а time to first token остаётся узким местом. По замерам спикера, у Gemini Pro он около 900 мс, то есть уже выше целевого бюджета.
  • Модели под скорость — спикер использовал Deepgram для распознавания и синтеза речи, которые можно запускать on-premises в Docker, и Llama 3 8B, потому что 70B работала недостаточно быстро.
  • Открытый код — Pipecat, open source фреймворк для оркестрации real-time голосовых и мультимодальных агентов, выросший из работы команды Daily и не привязанный к одному вендору.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и упирается в задержку ответа.

Статья по теме

Главы

Ещё доклады: Kwindla Hultman Kramer

Страница спикера →

Похожие доклады