Как создать голосового ИИ-агента, который отвечает без пауз?
Голосовой агент обычно собирают из трёх моделей: распознавание речи, LLM и синтез речи. Фреймворки вроде Pipecat и LiveKit связывают их и решают, когда человек договорил. Цель - около 800 мс от конца фразы до ответа, поэтому модель берут самую быструю из подходящих, а логику выносят в код.

Из чего состоит голосовой агент
Tom Shapland описывает типичную схему. Речь пользователя кусками уходит в модель распознавания (STT). Детектор голосовой активности (VAD) решает, закончил ли человек говорить. Текст идёт в LLM, ответ потоком попадает в синтез речи (TTS) и звучит в трубке.
Есть и вторая схема: speech-to-speech модели, которые сразу слушают и говорят, например OpenAI Realtime или Gemini Live. Jesse Hall из LiveKit считает, что они становятся лучше, но подходят не для каждой задачи. Kwindla Hultman Kramer, один из создателей Pipecat, говорит, что во фреймворке переход с одной схемы на другую занимает три-четыре строки кода.
Сколько можно молчать
В разговоре люди ждут ответа примерно через 500 мс. Kramer советует целиться в 800 мс от конца фразы до первого звука ответа: иначе большинство пользователей уйдёт.
В другом докладе Kramer раскладывает эту задержку по шагам. Только микрофон ноутбука на macOS съедает 30-40 мс. Потом идут сеть, распознавание с определением конца фразы (при аккуратной настройке около 200 мс), первый токен LLM (в идеале ещё 100 мс), синтез речи и обратный путь. На практике выходит 600-700 мс, и то при удачном раскладе. Для такой скорости Kramer советует хостить модели самому и ставить их рядом друг с другом.
Hall предупреждает, что мерить надо то, что слышит человек. Провайдер синтеза отчитывается временем до первого байта, а некоторые популярные сервисы отдают в начале до трёх четвертей секунды тишины. По его оценке, полторы секунды - это предел, на котором разговор ещё держится, а около 600 мс звучат по-человечески.
«Поэтому мы советуем целиться в 800 миллисекунд от голоса до голоса.»
So we tell people target 800-millisecond voice-to-voice response times.
«провайдер синтеза речи отчитывается временем до первого байта, и на дашборде это выглядит отлично, но байты - это не звук.»
your TTS provider, uh, reports time to first byte, and that looks great on the dashboard, uh, but bytes are not sound.
Зачем фреймворк
Писать всё с нуля Kramer не советует. Определение очереди реплик, обработку перебиваний, контекст и асинхронный вызов функций лучше взять готовыми и проверенными. Pipecat написан на Python, у него открытый код, и он не привязан к вендору. Он поддерживает больше 60 моделей и сервисов, телефонию через Twilio и Plivo и открытую модель Smart Turn для определения конца реплики. Агент на Pipecat - это конвейер из обработчиков, от трёх элементов до сотен строк для корпоративных систем. Воркшоп Daily по Pipecat есть в каталоге целиком.
LiveKit - другая открытая платформа того же класса. По словам Hall, на ней работает голосовой режим ChatGPT.
Как агенту понять, что пора говорить
Обычный VAD устроен просто: если человек молчит полсекунды, можно отвечать. Поэтому агент перебивает того, кто задумался посреди фразы. Shapland напоминает, что люди отвечают через 200 мс, потому что предсказывают конец реплики по смыслу, синтаксису и интонации. Новые детекторы пытаются делать так же и смотрят на смысл фразы или слушают сам звук. LiveKit заявляет, что её аудиодетектор перебивает пользователя в 4,5% случаев против 9,9% у лучшей альтернативы, и выложила код для проверки.
Отдельная беда - медленные инструменты. Поиск брони может занять 10, а то и 40 секунд. Hall предлагает делать как живой администратор: сказать «секунду, смотрю» и продолжать слушать, пока инструмент работает в фоне.
«если человек молчит больше полсекунды, значит, он договорил и агенту пора отвечать.»
if the person hasn't s-spoken for more than half a second, they're done speaking and it's time for the agent to start speaking.
Какую модель выбрать
Самая умная модель для голоса часто хуже. Ornella Bahidika и Joel Allou делают голосового репетитора Ace. Claude Opus 4.7 у них думал несколько секунд перед ответом. Тогда команда вынесла логику урока в конечный автомат и оставила модели только речь. Claude Haiku 4.5 стал отвечать примерно за 900 мс. Цена такого решения - строгая обвязка в коде, без неё маленькая модель теряет структуру длинного урока.
Выбирать по лидербордам тоже опасно. Hall называет это ловушкой: рейтинги оценивают модели по отдельности на чистом звуке, а вы выпускаете цепочку, которой звонят из машины по громкой связи. Venky B приводит цифры: лучшие движки распознавания дают 4-6% ошибок на тестовых наборах и двузначные проценты на реальных звонках. Чаще всего ломаются имена, термины, номера телефонов и адреса. Он советует добавить слой, который нормализует распознанный текст, прежде чем отдавать его LLM.
«Правило такое: берите самую быструю модель, которую позволяет бюджет задержки, а остальное время тратьте на обвязку.»
So here's the rule: pick the fastest model that your latency budget allows, and then spend the rest of your time actually building the scaffolding.
«Распознавание слышит «вторник, 30-е», и с этого момента уже неважно, насколько умна языковая модель: она уверенно бронирует не тот день»
Your speech-to-text hears Tuesday the 30th, and so from that moment on, it doesn't matter how smart your language model is, it's now confidently booking the wrong day
«исходите из того, что распознавание будет ненадёжным»
assume your transcriptions are going to be brittle
Как отлаживать
Fuad Ali из Arize показывает звонок, транскрипт которого выглядит нормально. Клиент просит вернуть деньги за заказ 14, агент слышит 40, клиент поправляет, агент подтверждает. В аудио же 2,4 секунды тишины и агент перебивает клиента, а вызов инструмента показывает, что деньги вернули за заказ 40. Слушайте записи и смотрите на метрики задержки и перебиваний, а не только на текст.
Почти все спикеры здесь вендоры. Kramer продаёт Pipecat Cloud, Hall работает в LiveKit, Ali - в Arize. Цифры в 500-800 мс у них сходятся, но замеры точности детекторов и скорости провайдеров сделаны самими вендорами.
«Если просто читать вывод LLM, вы даже не поймёте, что что-то не так.»
If you just read this from an LLM output, you would have no idea anything is going on.


