← Каталог

· AI Engineer World's Fair 2026

Базовая модель умерла

The Base Model is Dead

Базовая модель становится приором для RL и агентного поведения: веб-текст сокращается, а код, STEM и SFT-подобные данные переезжают в pre-training.

  • Доля веб-текста — в GPT-3 веб-тексты вместе с Wikipedia занимали около 85% смеси, в MAI-Thinking-1 по словам авторов около 15%, а код стал одной из самых больших подвыборок в современных рецептах.
  • SFT-данные на этапе pre-training — в рецепте Nemotron 3 Ultra несколько категорий помечены как SFT, то есть вопросы и ответы в формате диалога. Так модель с первых шагов учится форме задач, которые ждут от неё потом.
  • Синтетика через переформулировки — в Trinity Large исходные данные увеличивают долю в смеси, генерируя их переформулировки, поэтому модель видит одну и ту же информацию в нескольких формах. Kimi K2, по словам спикера, применяет похожий подход ко всему pre-training набору.
  • Балансировка MoE — когда распределение pre-training сильно отличается от post-training, MAI-Thinking-1 пришлось заметно поднять коэффициент балансировки нагрузки на стадии SFT. По мысли спикера, ранний вход таких данных в pre-training позволяет этого избежать.

Кому полезно: тем, кто выбирает базовую модель или проектирует pre-training под RL и агентные сценарии.

Главы

Похожие доклады