· AI Engineer World's Fair 2025
От беспилотных автомобилей к автономным голосовым агентам
From Self-driving to Autonomous Voice Agents — Brooke Hopkins, Coval
Голосовых агентов можно сделать одновременно автономными и надёжными, если прогонять большое число вероятностных симуляций и измерять вероятность успеха по каждому сценарию.
- Вероятность вместо одного прогона — упавший сценарий перезапускают сто раз: падение в 50 запусках из 100 означает монетку, а падение в одном из ста может быть приемлемым для продукта.
- Метрики без эталона — вместо проверки заранее заданных шагов для каждого входа считают частоту по всем разговорам: решил ли агент запрос, не повторяется ли он, не говорит ли лишнего.
- Реалистичность голоса под задачу — проверку инструкций и tool calls удобнее вести текстом, перебивания и задержки можно проверять простыми голосами, а акценты и шум воспроизводить только при разборе проблем из продакшена.
- Калибровка LLM-as-a-judge — судью сверяют с человеческими оценками, пока он не совпадёт с ними, и только потом запускают на тысячах разговоров вместо десятка размеченных вручную.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и не знает, как измерять их надёжность.
Статья по теме
Главы
Ещё доклады: Brooke Hopkins
Страница спикера →Похожие доклады
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию
Создавайте evals, которые действительно важны
AI Engineer World's Fair 2026
Близко по содержанию
Как обуздать AI-агентов с помощью evals на основе observability
AI Engineer World's Fair 2025
Близко по содержанию

