Зачем AI-агентам контекст на миллион токенов
Why AI Agents Need Million-Token Context — Thomas Wolf & Olive Song, MiniMax
MiniMax M3 получает контекст в миллион токенов через разреженное внимание MSA, потому что агентам нужна долгая история вызовов инструментов.
- Разреженное внимание MSA — индексная ветка выбирает в контексте блоки, важные для текущего шага, а основная считает внимание только по ним. По словам спикера, дизайн намеренно простой, чтобы масштабировать и длину контекста, и размер модели.
- Мультимодальность с первого шага — по словам спикера, адаптеры поверх готовой текстовой модели ухудшали качество текста и плохо сходились по зрению. Обучение текста и изображений с нуля требовало работы над ViT, чисткой данных и reward-моделью, зато не коллапсировало.
- Исследования снизу вверх — после релиза любой сотрудник предлагает проект по слабым местам модели. Работа длится от недель до месяцев, а готовый результат попадает в финальное обучение; архитектуру MSA придумал стажёр.
- Собственные харнессы для исследований — они автоматизируют значительную часть рутины команды, и по словам спикера, помогают развивать M3.1.
Кому полезно: тем, кто строит агентов с длинными цепочками вызовов инструментов или работает с видео и документами как с входом модели.
Статья по теме
Главы
Ещё доклады: Olive Song
Страница спикера →Как создавали MiniMax M3: разреженное внимание и нативная мультимодальность
MiniMax M2
AI Engineer Code 2025
Агенты в масштабе: модель MiniMax и инфраструктура для её работы
AI Engineer World's Fair 2026
Похожие доклады
Почему с увеличением контекста агент глупеет и что с этим делать
AI Engineer Europe 2026
Близко по содержанию
Почему большие контекстные окна не спасут вашего агента
AI Engineer World's Fair 2026
Близко по содержанию


