← Каталог

· AI Engineer World's Fair 2025

От беспилотных автомобилей к автономным голосовым агентам

From Self-driving to Autonomous Voice Agents — Brooke Hopkins, Coval

Голосовых агентов можно сделать одновременно автономными и надёжными, если прогонять большое число вероятностных симуляций и измерять вероятность успеха по каждому сценарию.

  • Вероятность вместо одного прогона — упавший сценарий перезапускают сто раз: падение в 50 запусках из 100 означает монетку, а падение в одном из ста может быть приемлемым для продукта.
  • Метрики без эталона — вместо проверки заранее заданных шагов для каждого входа считают частоту по всем разговорам: решил ли агент запрос, не повторяется ли он, не говорит ли лишнего.
  • Реалистичность голоса под задачу — проверку инструкций и tool calls удобнее вести текстом, перебивания и задержки можно проверять простыми голосами, а акценты и шум воспроизводить только при разборе проблем из продакшена.
  • Калибровка LLM-as-a-judge — судью сверяют с человеческими оценками, пока он не совпадёт с ними, и только потом запускают на тысячах разговоров вместо десятка размеченных вручную.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и не знает, как измерять их надёжность.

Статья по теме

Главы

Ещё доклады: Brooke Hopkins

Страница спикера →

Похожие доклады