← Каталог

Транскрипт выглядел нормально. А звонок — нет. — Отладка голосовых агентов

The Transcript Looked Fine. The Call Wasn't. — Debugging Voice Agents, Arize

Голосового агента нельзя отлаживать по транскрипту: нужны аудио, трейсы и оценки по звуку, привязанные к спанам.

  • Аудио вместо текста — в демо транскрипт звонка выглядит связным, но аудио выдаёт 2,4 секунды тишины перед ответом, перебивание клиента и неверно услышанный номер. Трейс tool call показывает возврат на заказ 40 вместо 14.
  • Схема для всех провайдеров — OpenInference, открытый набор соглашений, приводит WebSocket-события, счётчики токенов и tool calls от OpenAI Realtime и Gemini Live к одной схеме запросов. Доклад во многом про Arize AX, но схема открыта.
  • Оценки по звуку — тон, задержку до первого звука, перебивания и успех задачи проверяют по самому аудио, а результат записывается в спан рядом с нужным фрагментом.
  • Самовосстановление с проверкой — спикер предлагает агента, который тестирует исправление на упавших трейсах и открывает pull request с результатами, а человек только одобряет его.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и разбирает звонки, где текстовые логи не показывают ошибку.

Доклад цитируется в статьях

Главы

Ещё доклады: Fuad Ali

Все 4 доклада →

Похожие доклады