· AI Engineer World's Fair 2024
Модели пространства состояний для мультимодального интеллекта в реальном времени
State Space Models for Realtime Multimodal Intelligence
SSM-модели вроде Mamba сжимают входящий поток в компактное внутреннее состояние, поэтому, по словам спикера, подходят для стриминга аудио и видео на устройствах.
- Сжатие вместо повторного просмотра — трансформер на каждом шаге смотрит на все прошлые токены, а SSM обновляет внутреннее состояние и отбрасывает токен, поэтому память и вычисления растут линейно с длиной контекста.
- Сжатие на длинном контексте — по словам спикера, для длинных мультимодальных данных, например суток записи камеры наблюдения, сжатое состояние даёт ответы не хуже, чем перечитывание всего входа, а на коротком тексте сжатие помогает меньше.
- Низкая задержка синтеза речи — компания Cartesia выпустила модель для синтеза речи на SSM, которая, по её словам, отдаёт голос почти сразу из дата-центра; работа по запуску таких моделей на Mac и других устройствах продолжается.
Кому полезно: тем, кто строит голосовых агентов или стриминговые мультимодальные системы для устройств с ограниченным питанием.
Статья по теме
Главы
Похожие доклады
Видеть, слышать, говорить, рисовать
Logan Kilpatrick, Simón Fishman
AI Engineer Summit 2023
Близко по содержанию
Исследования speech-to-speech моделей в Google DeepMind
Близко по содержанию
Как создавали MiniMax M3: разреженное внимание и нативная мультимодальность
Близко по содержанию
Эпоха продуктов без границ: дизайн мультимодального ввода-вывода
AI Engineer World's Fair 2024
Близко по содержанию

