← Каталог

Как создавать голосовых агентов, которые не теряются, когда их перебивают

How to Build Voice Agents That Don't Fall Apart When You Interrupt - Jesse Hall, LiveKit

Выбирать стек для голосового агента нужно по тестам всего разговора, а не по лидербордам отдельных моделей.

  • Time to first audio — замеряйте момент, когда абонент услышит звук, а не первый байт: по словам спикера, у части TTS-провайдеров после первого байта идёт до трёх четвертей секунды тишины. Для LLM смотрите time to first sentence, потому что TTS начинает говорить только с целого предложения.
  • Бюджет задержки — от последнего слога абонента до ответа агента стоит уложиться примерно в 1,5 секунды, а 500–600 миллисекунд звучат наиболее по-человечески.
  • Работа во время медленных инструментов — вызов инструмента с await возвращает микрофон агенту, и разговор продолжается, пока бэкенд ищет платёж или сохраняет бронь.
  • Симуляции с проверкой итога — симулированные абоненты с целями, перебиваниями и шумом проходят сценарии против рабочего агента, а оцениваются финальное состояние базы и лишние вызовы инструментов. Одна и та же модель работала медленнее у другого провайдера инференса.

Кому полезно: тем, кто выводит голосовых агентов в продакшен, особенно в финансовых сервисах, где ошибка в сумме или дате платежа дорого стоит.

Статья по теме

Главы

Ещё доклады: Jesse Hall

Страница спикера →

Похожие доклады