← Каталог

Голосовой ИИ: один неверный вопрос — и правила нарушены

Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval

Голосового агента в регулируемой сфере можно безопасно улучшать только в замкнутом цикле: экспертная разметка калибрует LLM-судью, а исправления проверяются симуляцией до выкладки.

  • Метрики из разметки людей — эксперты сначала размечают звонки, и только потом их критерии становятся LLM-судьёй. По словам спикеров, у Upstart совпадение судьи с человеком по соблюдению комплаенса выросло с 33% до 92%: помогло записать неявные правила и доработать самого судью.
  • Неизвестные сбои — помимо заранее заданных паттернов, кластеризация и anomaly detection находят незнакомые типы ошибок. Очереди на ручную проверку получают только проблемные звонки, а не все подряд.
  • Допустимые вопросы зависят от ответа клиента — ответ про медицинские расходы и ответ про выпускной ребёнка ведут к разным ограничениям, поэтому агент должен учитывать состояние разговора.
  • Ресимуляция до продакшена — исправление прогоняется голосовой симуляцией с шумом, акцентами и перебиваниями. Изменения идут за feature flag, а правки комплаенса подтверждает команда комплаенса.

Кому полезно: тем, кто выводит голосовых агентов в регулируемых сферах, например в кредитовании. Доклад во многом презентация продукта Coval, но описанный цикл переносится на любой стек.

Статья по теме

Главы

Ещё доклады: Brooke Hopkins

Страница спикера →

Похожие доклады