← Каталог

· AI Engineer World's Fair 2024

Создание AI-ассистента для телефонных звонков

Building an AI assistant that makes phone calls

Голосового ассистента, который сам звонит в организации по делам пользователя, можно собрать из готовых сервисов, а реактивная база Convex связывает их в реальном времени.

  • Реактивная база вместо опроса — сервер подписан на новые запросы через реактивный запрос, клиент получает статусы и строки транскрипта через useQuery, поэтому опрос сервера не нужен.
  • Звонок вне serverless — автор отказался от Next.js на Vercel, потому что serverless плохо работает с WebSocket: поток Twilio ведёт Express-сервер, а состояние уходит в Convex.
  • Задержка первой реплики — приветствие проигрывается из заранее записанного аудио, пока обрабатывается первый цикл. По словам автора, задержка растёт вместе с промптом, поэтому контекст для OpenAI стоит сокращать.

Кому полезно: тем, кто строит голосовых агентов для звонков и ищет, где в цепочке распознавания речи, LLM и синтеза речи теряется время.

Статья по теме

Главы

Похожие доклады