← Каталог

Действовать, уточнять или остановиться? Более разумное поведение ИИ-ассистентов, носимых устройств и роботов

Act, Confirm, or Stop? Smarter behavior for AI assistants, wearables & robots — Amit Desai, Roku

Ассистент может стать удобнее без роста точности распознавания, если выбирать пороги уверенности для действий «выполнить», «уточнить» и «отказаться» по минимуму суммарной пользовательской стоимости ошибок.

  • Цена ошибок разная — неверная песня, которую приходится останавливать и заказывать заново, по оценке автора стоит пользователю около 10 секунд, а ответ «не понял» около 4 секунд. Это эвристика, но от соотношения этих цен зависит оптимальный порог.
  • Порог лучше подбирать оптимизацией, а не на глаз — в модельном примере порог 65% дал 1,9 балла на ход, а порог около 43%, найденный оптимизацией, дал 1,27 при той же точности, против 2,1 без отказов.
  • Подтверждение как отдельное действие — шаг «уточнить» с двумя порогами снижает стоимость ещё, а где проходят пороги, определяет цена каждого исхода, например ответа «нет» с повторной формулировкой.
  • Для телевизора цены меняются — выбор из вариантов на экране пультом дешевле уточнения голосом, а переключение, которое сбрасывает текущее состояние, делает ошибку дороже. По словам автора, на практике порог лучше задавать обучаемой моделью в реальном времени.

Кому полезно: тем, кто выводит голосовых ассистентов или агентов с физическими и цифровыми действиями в продакшен и решает, когда им отказываться или переспрашивать.

Статья по теме

Главы

Похожие доклады