Как создавать голосовых агентов, которые не теряются, когда их перебивают
How to Build Voice Agents That Don't Fall Apart When You Interrupt - Jesse Hall, LiveKit
Выбирать стек для голосового агента нужно по тестам всего разговора, а не по лидербордам отдельных моделей.
- Time to first audio — замеряйте момент, когда абонент услышит звук, а не первый байт: по словам спикера, у части TTS-провайдеров после первого байта идёт до трёх четвертей секунды тишины. Для LLM смотрите time to first sentence, потому что TTS начинает говорить только с целого предложения.
- Бюджет задержки — от последнего слога абонента до ответа агента стоит уложиться примерно в 1,5 секунды, а 500–600 миллисекунд звучат наиболее по-человечески.
- Работа во время медленных инструментов — вызов инструмента с
awaitвозвращает микрофон агенту, и разговор продолжается, пока бэкенд ищет платёж или сохраняет бронь.
- Симуляции с проверкой итога — симулированные абоненты с целями, перебиваниями и шумом проходят сценарии против рабочего агента, а оцениваются финальное состояние базы и лишние вызовы инструментов. Одна и та же модель работала медленнее у другого провайдера инференса.
Кому полезно: тем, кто выводит голосовых агентов в продакшен, особенно в финансовых сервисах, где ошибка в сумме или дате платежа дорого стоит.
Статья по теме
Главы
Ещё доклады: Jesse Hall
Страница спикера →Задержка — это бюджет. Цель — общение как у людей
AI Engineer World's Fair 2026
Похожие доклады
Создание голосовых агентов с OpenAI
AI Engineer World's Fair 2025
Близко по содержанию
Голосовые агенты могут не только говорить, но и действовать
Близко по содержанию
Запуск корпоративного голосового AI agent за 100 дней
AI Engineer World's Fair 2025
Близко по содержанию

