· AI Engineer World's Fair 2025
Создание разговорных AI-агентов
Building Conversational AI Agents - Thor Schaeff, ElevenLabs
Голосового агента на нескольких языках и акцентах можно собрать из стандартного пайплайна ASR, LLM и TTS, а переключение языков, по словам спикера, не требует fine-tuning.
- Пайплайн вместо speech-to-speech — речь переводится в текст, LLM отвечает текстом, а ответ стримится обратно в речь. По мнению спикера, текстовый промежуточный слой даёт лучший мониторинг разговора, чем модели, которые работают с токенами звука напрямую.
- Переключение языков — определение языка опирается на оценку уверенности ASR, а голос для каждого языка задаётся отдельно в настройках. По словам спикера, при смешении трёх и более языков качество распознавания падает, точных бенчмарков у него нет.
- Задержка при RAG и инструментах — большую базу знаний лучше подключать через RAG, а таймаут инструмента можно задать до 120 секунд. Пока система ждёт ответ, агент сообщает, что ещё ищет данные, и разговор не обрывается.
- Произношение аббревиатур — словари произношения с фонемным алфавитом задают, как TTS произносит, например, SAP. Для распознавания отдельной настройки нет, поэтому спикер предлагает нормализующий слой в system prompt, который ещё не проверяли.
Кому полезно: тем, кто выводит голосовых агентов на нескольких языках в продакшен и выбирает между текстовым пайплайном и speech-to-speech.
Статья по теме
Главы
Ещё доклады: Thor Schaeff
Страница спикера →От транскрипции к живой музыке: аудиостек Gemini
AI Engineer Europe 2026
Создание conversational agents
AI Engineer Europe 2026
Агент, ты меня слышишь? Создаём голосовых агентов в реальном времени с Gemini
AI Engineer World's Fair 2026
Похожие доклады
Tolan: голосовой AI-компаньон
Близко по содержанию
Масштабирование голосового AI
AI Engineer World's Fair 2025
Близко по содержанию


