← Каталог

· AI Engineer World's Fair 2025

Создание разговорных AI-агентов

Building Conversational AI Agents - Thor Schaeff, ElevenLabs

Голосового агента на нескольких языках и акцентах можно собрать из стандартного пайплайна ASR, LLM и TTS, а переключение языков, по словам спикера, не требует fine-tuning.

  • Пайплайн вместо speech-to-speech — речь переводится в текст, LLM отвечает текстом, а ответ стримится обратно в речь. По мнению спикера, текстовый промежуточный слой даёт лучший мониторинг разговора, чем модели, которые работают с токенами звука напрямую.
  • Переключение языков — определение языка опирается на оценку уверенности ASR, а голос для каждого языка задаётся отдельно в настройках. По словам спикера, при смешении трёх и более языков качество распознавания падает, точных бенчмарков у него нет.
  • Задержка при RAG и инструментах — большую базу знаний лучше подключать через RAG, а таймаут инструмента можно задать до 120 секунд. Пока система ждёт ответ, агент сообщает, что ещё ищет данные, и разговор не обрывается.
  • Произношение аббревиатур — словари произношения с фонемным алфавитом задают, как TTS произносит, например, SAP. Для распознавания отдельной настройки нет, поэтому спикер предлагает нормализующий слой в system prompt, который ещё не проверяли.

Кому полезно: тем, кто выводит голосовых агентов на нескольких языках в продакшен и выбирает между текстовым пайплайном и speech-to-speech.

Статья по теме

Главы

Ещё доклады: Thor Schaeff

Страница спикера →

Похожие доклады