← Каталог

Голосовые агенты могут не только говорить, но и действовать

Voice Agents Can Just Do Things — Charlie Guo, OpenAI

Голосовой агент не обязан говорить: ответом может быть действие в приложении или визуальный сигнал, и эти режимы комбинируются с речью.

  • Действие вместо ответа — существующие API-эндпоинты и хуки React превращаются в tools, и пользователь управляет приложением голосом; при этом нужны guardrails и проверки безопасности.
  • Визуальная обратная связь — уведомления, всплывающие окна, смена состояния кнопки или подсветка текста сообщают о происходящем без слов. Для событий спикер предлагает эскалацию: сначала анимация, затем попап, и только потом голос.
  • Нативное аудио вместо транскрипции — при распознавании речи теряются интонация, темп, перебивания и фоновый шум. По словам спикера из OpenAI, модели, которые работают с аудио напрямую, дают заметно меньшую задержку, чем цепочка из распознавания, LLM и синтеза речи.
  • Фраза-предупреждение перед вызовом tools — GPT realtime 2 может сказать пользователю пару слов, пока в фоне идут рассуждения и вызовы инструментов.

Кому полезно: тем, кто проектирует голосовых агентов и хочет выйти за рамки сценария «чат-бот поддержки».

Статья по теме

Главы

Ещё доклады: Charlie Guo

Страница спикера →

Похожие доклады