← Каталог

· AI Engineer World's Fair 2024

Как дать голос AI-агентам

Giving a Voice to AI Agents

Скорость и точность голосовых агентов уже достаточны, а следующий шаг к человеческому звучанию — передача контекста разговора между STT, LLM и TTS.

  • Цикл короче 500 мс — по данным блога Daily, полный цикл STT, LLM и TTS укладывается в 500 мс: STT и TTS от Deepgram, LLM — Llama. Человек отвечает за 400–600 мс, поэтому такая задержка, по словам спикера, естественна.
  • Контекст в STT — распознавание с историей разговора, по словам спикера, заметно точнее, чем с парой секунд аудио. Точность STT выросла с примерно 75% до более 90%, а задержка упала до 100–200 мс.
  • Контекст в TTS — текстовая модель может передавать синтезатору инструкции по тону и темпу, а результат синтеза возвращать как контекст для следующей реплики.
  • Модульность и себестоимость — для банков и call-центров спикер предлагает разделить стек: большой STT, небольшая LLM под узкие задачи и один стабильный голос TTS. Speech-to-speech модели, по его словам, дают меньше контроля над поведением агента.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и выбирает, из каких компонентов собрать стек.

Статья по теме

Главы

Похожие доклады