Как создавали MiniMax M3: разреженное внимание и нативная мультимодальность
How MiniMax M3 Was Built: Sparse Attention and Native Multimodality — Olive Song
Обучение текста и зрения вместе с нуля, по словам авторов, почти не ухудшает текстовые способности модели, а блочный sparse attention делает контекст в миллион токенов практичным.
- Выбор блоков для каждой KV-головы — при GQA общий набор токенов для всех голов обнуляет разнообразие, ради которого GQA существует. Здесь каждая KV-голова выбирает свои блоки, а поиск идёт блоками, а не отдельными токенами, что снижает накладные расходы на top-k и доступ к памяти.
- Легковесная индексная ветка — 4 query-головы и одна key-голова, обученные через KL-loss повторять внимание основной ветки. Основная ветка обрабатывает только выбранные блоки.
- Зрение с нуля вместо дообучения — добавление vision после декея pre-training ухудшало текст, а раннее добавление зависело от смеси данных и скорости обучения. При одинаковом бюджете текстовых токенов совместное обучение почти не сказалось на тексте, а карты внимания показали более тесную связь текстовых и визуальных токенов.
- 3D attention в ViT — патчи разных кадров видят друг друга, что улучшает понимание видео и часть image-бенчмарков. По словам авторов, четыре кадра дают лучший баланс качества и скорости.
Кому полезно: тем, кто строит длинный контекст на GQA-архитектуре или обучает мультимодальную модель с нуля.
Статья по теме
На какие вопросы отвечает доклад
Почему sparse attention из DeepSeek плохо работает с GQA-моделями?
Если все KV-головы выбирают одни и те же токены, теряется разнообразие GQA. Раскладка GQA также даёт несколько независимых чтений памяти вместо одного непрерывного, и это снижает эффективность.
▶ 4:02DSA, GQA и ограничения реализации на GPUКак сделать разреженное внимание быстрым на контексте в миллион токенов?
Выбирать блоки токенов вместо отдельных токенов, оставлять разный выбор для каждой KV-головы и писать отдельные ядра для обучения и инференса. По словам авторов, такой подход заметно ускоряет prefill и decoding по сравнению с полным вниманием.
▶ 7:07Разнообразие голов MSA, блочный retrieval и ядраКогда добавлять картинки в обучение LLM, чтобы не испортить текстовые способности?
Добавление vision после декея претрейна ухудшало текст, а раннее добавление чувствительно к смеси данных и learning rate. Обучение текста и изображений с нуля почти не снизило текстовое качество при том же бюджете текстовых токенов.
▶ 8:56Сравнение стратегий мультимодального обученияПочему текстовые токены мало внимания уделяют визуальным в VL-модели, дообученной поверх текстовой?
По картам внимания у моделей с дообучением после претрейна текстовые токены почти не смотрят на визуальные. При обучении с нуля граница между ними не видна, что спикер трактует как лучшую интеграцию модальностей.
▶ 11:26Карты внимания и интеграция текста и изображенийКак научить ViT понимать связь между кадрами видео?
Использовать 3D attention внутри ViT, чтобы патчи разных кадров взаимодействовали напрямую. По словам авторов, это улучшило понимание видео и часть image-бенчмарков, а четыре кадра дали лучший баланс качества и скорости.
▶ 12:36Архитектура Vision Transformer и 3D-внимание
Главы
Ещё доклады: Olive Song
Страница спикера →Зачем AI-агентам контекст на миллион токенов
MiniMax M2
AI Engineer Code 2025
Агенты в масштабе: модель MiniMax и инфраструктура для её работы
AI Engineer World's Fair 2026
Похожие доклады
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
Быстрая модель — действительно быстрее? Оценивайте весь процесс
Близко по содержанию

