← Каталог

Зачем AI-агентам контекст на миллион токенов

Why AI Agents Need Million-Token Context — Thomas Wolf & Olive Song, MiniMax

MiniMax M3 получает контекст в миллион токенов через разреженное внимание MSA, потому что агентам нужна долгая история вызовов инструментов.

  • Разреженное внимание MSA — индексная ветка выбирает в контексте блоки, важные для текущего шага, а основная считает внимание только по ним. По словам спикера, дизайн намеренно простой, чтобы масштабировать и длину контекста, и размер модели.
  • Мультимодальность с первого шага — по словам спикера, адаптеры поверх готовой текстовой модели ухудшали качество текста и плохо сходились по зрению. Обучение текста и изображений с нуля требовало работы над ViT, чисткой данных и reward-моделью, зато не коллапсировало.
  • Исследования снизу вверх — после релиза любой сотрудник предлагает проект по слабым местам модели. Работа длится от недель до месяцев, а готовый результат попадает в финальное обучение; архитектуру MSA придумал стажёр.
  • Собственные харнессы для исследований — они автоматизируют значительную часть рутины команды, и по словам спикера, помогают развивать M3.1.

Кому полезно: тем, кто строит агентов с длинными цепочками вызовов инструментов или работает с видео и документами как с входом модели.

Статья по теме

Главы

Ещё доклады: Olive Song

Страница спикера →

Похожие доклады