← Каталог

· AI Engineer World's Fair 2025

Создание эффективных голосовых агентов

Building Effective Voice Agents

Голосового агента удобнее строить так: Realtime API ведёт диалог и отвечает на простые вопросы, а сложные задачи передаёт более сильным моделям через вызов инструментов.

  • Каскадная схема или speech-to-speech — каскад из транскрипции, LLM и синтеза речи медленнее и теряет смысл на стыках, а speech-to-speech в одной модели даёт низкую задержку. Для клиентского сервиса, где важны точность и детерминизм, авторы советуют каскадную схему.
  • Делегирование — Realtime API передаёт сложные запросы, например возврат товара, модели o4-mini. Инструментов у фронтовой модели должно быть немного, их добавляют по мере необходимости.
  • Передача между агентами — при handoff стоит суммировать состояние разговора и передавать его следующему агенту, чтобы не терять контекст.
  • Evals и guardrails — по словам авторов, начинать нужно с трейсов и разметки экспертами, затем проверять транскрипцию через LLM-as-a-judge и тон с помощью аудиомодели. Guardrails запускаются асинхронно: текст приходит быстрее аудио, а проверка идёт, например, каждые 100 символов.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и выбирает между каскадной схемой и speech-to-speech.

Статья по теме

Главы

Ещё доклады: Toki Sherbakov

Страница спикера →

Похожие доклады