← Каталог

Как создавали MiniMax M3: разреженное внимание и нативная мультимодальность

How MiniMax M3 Was Built: Sparse Attention and Native Multimodality — Olive Song

Обучение текста и зрения вместе с нуля, по словам авторов, почти не ухудшает текстовые способности модели, а блочный sparse attention делает контекст в миллион токенов практичным.

  • Выбор блоков для каждой KV-головы — при GQA общий набор токенов для всех голов обнуляет разнообразие, ради которого GQA существует. Здесь каждая KV-голова выбирает свои блоки, а поиск идёт блоками, а не отдельными токенами, что снижает накладные расходы на top-k и доступ к памяти.
  • Легковесная индексная ветка — 4 query-головы и одна key-голова, обученные через KL-loss повторять внимание основной ветки. Основная ветка обрабатывает только выбранные блоки.
  • Зрение с нуля вместо дообучения — добавление vision после декея pre-training ухудшало текст, а раннее добавление зависело от смеси данных и скорости обучения. При одинаковом бюджете текстовых токенов совместное обучение почти не сказалось на тексте, а карты внимания показали более тесную связь текстовых и визуальных токенов.
  • 3D attention в ViT — патчи разных кадров видят друг друга, что улучшает понимание видео и часть image-бенчмарков. По словам авторов, четыре кадра дают лучший баланс качества и скорости.

Кому полезно: тем, кто строит длинный контекст на GQA-архитектуре или обучает мультимодальную модель с нуля.

Статья по теме

На какие вопросы отвечает доклад

  • Почему sparse attention из DeepSeek плохо работает с GQA-моделями?

    Если все KV-головы выбирают одни и те же токены, теряется разнообразие GQA. Раскладка GQA также даёт несколько независимых чтений памяти вместо одного непрерывного, и это снижает эффективность.

    ▶ 4:02DSA, GQA и ограничения реализации на GPU
  • Как сделать разреженное внимание быстрым на контексте в миллион токенов?

    Выбирать блоки токенов вместо отдельных токенов, оставлять разный выбор для каждой KV-головы и писать отдельные ядра для обучения и инференса. По словам авторов, такой подход заметно ускоряет prefill и decoding по сравнению с полным вниманием.

    ▶ 7:07Разнообразие голов MSA, блочный retrieval и ядра
  • Когда добавлять картинки в обучение LLM, чтобы не испортить текстовые способности?

    Добавление vision после декея претрейна ухудшало текст, а раннее добавление чувствительно к смеси данных и learning rate. Обучение текста и изображений с нуля почти не снизило текстовое качество при том же бюджете текстовых токенов.

    ▶ 8:56Сравнение стратегий мультимодального обучения
  • Почему текстовые токены мало внимания уделяют визуальным в VL-модели, дообученной поверх текстовой?

    По картам внимания у моделей с дообучением после претрейна текстовые токены почти не смотрят на визуальные. При обучении с нуля граница между ними не видна, что спикер трактует как лучшую интеграцию модальностей.

    ▶ 11:26Карты внимания и интеграция текста и изображений
  • Как научить ViT понимать связь между кадрами видео?

    Использовать 3D attention внутри ViT, чтобы патчи разных кадров взаимодействовали напрямую. По словам авторов, это улучшило понимание видео и часть image-бенчмарков, а четыре кадра дали лучший баланс качества и скорости.

    ▶ 12:36Архитектура Vision Transformer и 3D-внимание

Главы

Ещё доклады: Olive Song

Страница спикера →

Похожие доклады