Интеллектуальный интерфейс
The Intelligent Interface
Интерфейс с LLM может выбирать способ ввода и вывода по контексту пользователя, например по его положению у экрана, и не требовать текст по умолчанию.
- Контекст как входные сигналы — положение пользователя, направление взгляда и тон голоса можно передавать в LLM наравне с набранным текстом. В демо с камерой модель решала, слушать голос и отвечать ли текстом; авторы называют его грубым прототипом, но собрать такое можно уже сейчас.
- Ввод и вывод независимы — голос не обязан давать голосовой ответ, а жест не обязан давать жест. Модальность выхода выбирается отдельно и зависит от ситуации.
- Вероятностный результат нужен с простым отказом — генеративный материал часто ошибается, поэтому ошибочный объект проще смахнуть жестом, чем искать кнопку отмены. Авторы советуют опираться на знакомые физические метафоры, а не на жёсткие материалы вроде дерева или металла.
- Социальные нормы как ограничение — жесты значат разное в разных культурах, а банковский агент не должен вести философский разговор, потому что это социально неуместно.
Кому полезно: тем, кто проектирует голосовые или мультимодальные интерфейсы к LLM-продуктам, включая устройства с камерой и микрофоном.
Главы
Похожие доклады
Форм-факторы для ваших новых AI-коллег
AI Engineer World's Fair 2025
Близко по содержанию
Разработка в эпоху Gemini
AI Engineer Code 2025
Близко по содержанию
MCP Apps: Расширяя границы
AI Engineer World's Fair 2026
Близко по содержанию
Эпоха продуктов без границ: дизайн мультимодального ввода-вывода
AI Engineer World's Fair 2024
Близко по содержанию

