← Каталог

«Меня зовут… меня зовут…»: лингвистическая карта для голосовых агентов

"My name is... my name is...": A Linguistic Map for Voice Agents — Midam Kim, ServiceNow

Голосовой агент ломается, когда слои распознавания, синтеза речи, очерёдности реплик и понимания задачи рассогласованы и не адаптируются вместе на протяжении звонка.

  • Слои связаны между собой — спикер утверждает, что без любого из четырёх уровней (звуки, слова, взаимодействие, ментальная модель) агент падает, поэтому настраивать ASR или TTS по отдельности недостаточно.
  • Ментальная модель живёт дольше реплик — звуки и слова исчезают сразу после произнесения, а понимание задачи накапливается по ходу звонка, и именно его стоит отслеживать и учитывать в метриках удовлетворённости.
  • Типовые сбои для проверки — распознавание путает M и N в продиктованном имени, английские правила чтения превращают имя пользователя в Madam, а агент перебивает человека, который читает номер аккаунта. При непонимании агент должен уточнять, а не повторять вопрос целиком.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и хочет понять, на каком слое звонок ломается.

Статья по теме

Главы

Похожие доклады