· AI Engineer World's Fair 2026
Базовая модель умерла
The Base Model is Dead
Базовая модель становится приором для RL и агентного поведения: веб-текст сокращается, а код, STEM и SFT-подобные данные переезжают в pre-training.
- Доля веб-текста — в GPT-3 веб-тексты вместе с Wikipedia занимали около 85% смеси, в MAI-Thinking-1 по словам авторов около 15%, а код стал одной из самых больших подвыборок в современных рецептах.
- SFT-данные на этапе pre-training — в рецепте Nemotron 3 Ultra несколько категорий помечены как SFT, то есть вопросы и ответы в формате диалога. Так модель с первых шагов учится форме задач, которые ждут от неё потом.
- Синтетика через переформулировки — в Trinity Large исходные данные увеличивают долю в смеси, генерируя их переформулировки, поэтому модель видит одну и ту же информацию в нескольких формах. Kimi K2, по словам спикера, применяет похожий подход ко всему pre-training набору.
- Балансировка MoE — когда распределение pre-training сильно отличается от post-training, MAI-Thinking-1 пришлось заметно поднять коэффициент балансировки нагрузки на стадии SFT. По мысли спикера, ранний вход таких данных в pre-training позволяет этого избежать.
Кому полезно: тем, кто выбирает базовую модель или проектирует pre-training под RL и агентные сценарии.
Главы
Похожие доклады
Обучение Krea 2: что важно при обучении генеративных моделей
AI Engineer World's Fair 2026
Близко по содержанию
2025 год в мире LLM на примере пеликанов на велосипедах
AI Engineer World's Fair 2025
Близко по содержанию
Таксономия моделей рассуждения следующего поколения
AI Engineer World's Fair 2025
Близко по содержанию
Робототехника застряла на месте на 70 лет
AI Engineer World's Fair 2026
Близко по содержанию
