← Каталог

Я слушал аудиозаписи преступлений. Voice agents пугают меня сильнее.

I Monitored Crime Audio. Voice Agents Scare Me More. — Sumanyu Sharma, Hamming AI

Одна правка промпта у голосового агента меняет поведение для миллионов звонков, поэтому ошибки нужно искать непрерывным циклом, а не разовыми тестами.

  • Приоритизация по частоте и серьёзности — одноразовые мелкие сбои спикер советует не игнорировать, но главный приоритет у системных и серьёзных проблем, например когда агент не заморозил кредитную карту. Такие случаи стоит решать первыми.
  • Масштаб ошибок — при доле ошибок 1% на триллион звонков в год выходит 10 млрд инцидентов. По словам спикера, у компании Hamming, которая отслеживает 10 000 агентов, доля ошибок на практике ближе к 10%.
  • Red teaming — по словам спикера, их инструмент смог обойти верификацию и получить чужие данные примерно у каждого пятого агента в финансах, здравоохранении и потребительских сервисах. Автор рекомендует запускать red teaming круглосуточно.
  • Проверка исправлений — повтор одного реального звонка 5–50 раз дает лишь оценку вероятности, поэтому лучше менять формулировки и акценты. Для исходящих агентов, где важны первые 5 секунд, спикер считает единственным способом A/B-тест на реальных звонках.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и хочет проверять их до и после выкатки. Доклад во многом презентация продукта Hamming, но инженерная часть цикла от него отделима.

Статья по теме

Главы

Похожие доклады