VoiceOps: извлечение данных из шумных аудиопотоков с низкой задержкой
VoiceOps-fying Low-Latency Intelligence Extraction from Messy Audio Streams — Dippu Kumar Singh
Разделение каналов, раннее маскирование PII и подтверждение оператора превращают шумные звонки в структурированные данные для CRM, по словам автора, почти вдвое сокращая after-call work.
- Раздельные каналы — стерео делится на канал агента и канал клиента до транскрибации, иначе LLM путает, кто что сказал, и ломает сводку.
- Маскирование PII до LLM — номера карт и пароли удаляются на раннем этапе, до попадания в модель; автор признаёт, что дополнительные слои добавляют задержку.
- Точность STT выше 90% — по словам автора, без такой точности транскрипта сводка не работает; доменные словари и inverse text normalization помогают различать похожие термины и переводить числа в цифры.
- Структура вместо текста — промпт с few-shot примерами выдаёт отдельные списки запроса и действий оператора, интент выбирается из заранее заданного списка. JSON по схеме CRM уходит через REST API после подтверждения оператора; по словам автора, ACW упал с 6,3 до 3,1 минуты.
Кому полезно: тем, кто строит голосовой пайплайн для контакт-центра с шумным аудио и записью в CRM.
Статья по теме
На какие вопросы отвечает доклад
Как разделить стерео-запись звонка, чтобы LLM не путала агента и клиента?
Стерео делят на два канала: агент на левом, клиент на правом. Если свести запись в моно, модель не может понять, кто что сказал, и сводка портится.
▶ 7:21Компоненты конвейера, многоканальный захват и маскирование PIIКак маскировать номера карт и пароли в аудио до передачи в LLM?
Персональные данные маскируют на раннем этапе, через управление буфером, до того как они попадут в канал и в память LLM.
▶ 7:21Компоненты конвейера, многоканальный захват и маскирование PIIКак повысить точность распознавания речи для LLM-суммаризации звонков контакт-центра?
По словам спикера, порог точности STT должен быть выше 90%. Помогают доменные словари (term life, а не turn), inverse text normalization и автопунктуация, чтобы «пять тысяч долларов» стали числом.
▶ 9:53Точность распознавания речи и структурированные запросы к LLMКак заставить LLM выдавать сводку звонка списками и JSON для CRM?
Few-shot промпты разделяют сводку на список запроса клиента и список действий оператора, причину звонка выбирают из заранее заданного списка, а результат оформляют по схеме CRM.
▶ 9:53Точность распознавания речи и структурированные запросы к LLMКак сократить время after-call work с помощью LLM в контакт-центре?
По словам спикера, среднее ACW снизилось с 6,3 до 3,1 минуты, примерно на 50%, после того как LLM заполняет сводку и теги причины звонка.
▶ 13:36Проверка человеком, результаты работы и дорожная карта разработкиКак записывать данные из LLM в CRM без неверных полей?
API-шлюз раскладывает JSON от LLM по полям CRM, а оператор видит предзаполненную карточку, проверяет поля, правит их и нажимает Confirm.
▶ 13:36Проверка человеком, результаты работы и дорожная карта разработки
Главы
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Близко по содержанию
Разговорное видео в реальном времени с Pipecat и Tavus
AI Engineer World's Fair 2025
Близко по содержанию
Запуск корпоративного голосового AI agent за 100 дней
AI Engineer World's Fair 2025
Близко по содержанию

