← Каталог

· AI Engineer World's Fair 2024

Модели пространства состояний для мультимодального интеллекта в реальном времени

State Space Models for Realtime Multimodal Intelligence

SSM-модели вроде Mamba сжимают входящий поток в компактное внутреннее состояние, поэтому, по словам спикера, подходят для стриминга аудио и видео на устройствах.

  • Сжатие вместо повторного просмотра — трансформер на каждом шаге смотрит на все прошлые токены, а SSM обновляет внутреннее состояние и отбрасывает токен, поэтому память и вычисления растут линейно с длиной контекста.
  • Сжатие на длинном контексте — по словам спикера, для длинных мультимодальных данных, например суток записи камеры наблюдения, сжатое состояние даёт ответы не хуже, чем перечитывание всего входа, а на коротком тексте сжатие помогает меньше.
  • Низкая задержка синтеза речи — компания Cartesia выпустила модель для синтеза речи на SSM, которая, по её словам, отдаёт голос почти сразу из дата-центра; работа по запуску таких моделей на Mac и других устройствах продолжается.

Кому полезно: тем, кто строит голосовых агентов или стриминговые мультимодальные системы для устройств с ограниченным питанием.

Статья по теме

Главы

Похожие доклады