← Каталог

· AI Engineer Summit 2023

Интеллектуальный интерфейс

The Intelligent Interface

Интерфейс с LLM может выбирать способ ввода и вывода по контексту пользователя, например по его положению у экрана, и не требовать текст по умолчанию.

  • Контекст как входные сигналы — положение пользователя, направление взгляда и тон голоса можно передавать в LLM наравне с набранным текстом. В демо с камерой модель решала, слушать голос и отвечать ли текстом; авторы называют его грубым прототипом, но собрать такое можно уже сейчас.
  • Ввод и вывод независимы — голос не обязан давать голосовой ответ, а жест не обязан давать жест. Модальность выхода выбирается отдельно и зависит от ситуации.
  • Вероятностный результат нужен с простым отказом — генеративный материал часто ошибается, поэтому ошибочный объект проще смахнуть жестом, чем искать кнопку отмены. Авторы советуют опираться на знакомые физические метафоры, а не на жёсткие материалы вроде дерева или металла.
  • Социальные нормы как ограничение — жесты значат разное в разных культурах, а банковский агент не должен вести философский разговор, потому что это социально неуместно.

Кому полезно: тем, кто проектирует голосовые или мультимодальные интерфейсы к LLM-продуктам, включая устройства с камерой и микрофоном.

Главы

Похожие доклады