· AI Engineer World's Fair 2025
Создание эффективных голосовых агентов
Building Effective Voice Agents
Голосового агента удобнее строить так: Realtime API ведёт диалог и отвечает на простые вопросы, а сложные задачи передаёт более сильным моделям через вызов инструментов.
- Каскадная схема или speech-to-speech — каскад из транскрипции, LLM и синтеза речи медленнее и теряет смысл на стыках, а speech-to-speech в одной модели даёт низкую задержку. Для клиентского сервиса, где важны точность и детерминизм, авторы советуют каскадную схему.
- Делегирование — Realtime API передаёт сложные запросы, например возврат товара, модели o4-mini. Инструментов у фронтовой модели должно быть немного, их добавляют по мере необходимости.
- Передача между агентами — при handoff стоит суммировать состояние разговора и передавать его следующему агенту, чтобы не терять контекст.
- Evals и guardrails — по словам авторов, начинать нужно с трейсов и разметки экспертами, затем проверять транскрипцию через LLM-as-a-judge и тон с помощью аудиомодели. Guardrails запускаются асинхронно: текст приходит быстрее аудио, а проверка идёт, например, каждые 100 символов.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и выбирает между каскадной схемой и speech-to-speech.
Статья по теме
Главы
Ещё доклады: Toki Sherbakov
Страница спикера →OpenAI для руководителей AI-направлений
Toki Sherbakov, Prashant Mital
AI Engineer Summit 2025
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Близко по содержанию
Полный воркшоп: голосовой AI в реальном времени
Aleix Conchillo Flaqué, Mark Backman
AI Engineer World's Fair 2025
Близко по содержанию

