Действовать, уточнять или остановиться? Более разумное поведение ИИ-ассистентов, носимых устройств и роботов
Act, Confirm, or Stop? Smarter behavior for AI assistants, wearables & robots — Amit Desai, Roku
Ассистент может стать удобнее без роста точности распознавания, если выбирать пороги уверенности для действий «выполнить», «уточнить» и «отказаться» по минимуму суммарной пользовательской стоимости ошибок.
- Цена ошибок разная — неверная песня, которую приходится останавливать и заказывать заново, по оценке автора стоит пользователю около 10 секунд, а ответ «не понял» около 4 секунд. Это эвристика, но от соотношения этих цен зависит оптимальный порог.
- Порог лучше подбирать оптимизацией, а не на глаз — в модельном примере порог 65% дал 1,9 балла на ход, а порог около 43%, найденный оптимизацией, дал 1,27 при той же точности, против 2,1 без отказов.
- Подтверждение как отдельное действие — шаг «уточнить» с двумя порогами снижает стоимость ещё, а где проходят пороги, определяет цена каждого исхода, например ответа «нет» с повторной формулировкой.
- Для телевизора цены меняются — выбор из вариантов на экране пультом дешевле уточнения голосом, а переключение, которое сбрасывает текущее состояние, делает ошибку дороже. По словам автора, на практике порог лучше задавать обучаемой моделью в реальном времени.
Кому полезно: тем, кто выводит голосовых ассистентов или агентов с физическими и цифровыми действиями в продакшен и решает, когда им отказываться или переспрашивать.
Статья по теме
Главы
Похожие доклады
Голосовые агенты могут не только говорить, но и действовать
Близко по содержанию
Создавайте AI-системы для осознанной оценки, а не одобрения
AI Engineer World's Fair 2026
Близко по содержанию
Не ограничивайтесь чатботом: создавайте ИИ, который действует на опережение
AI Engineer Summit 2025
Близко по содержанию
UX искусственного интеллекта: как создавать приложения, которые не раздражают пользователей
AI Engineer World's Fair 2026
Близко по содержанию

