· AI Engineer World's Fair 2025
Таксономия моделей рассуждения следующего поколения
A Taxonomy for Next-Generation Reasoning Models
Следующий рубеж для reasoning-моделей — целенаправленное обучение планированию, калибровке объёма рассуждений и декомпозиции задач, потому что навыки в математике и коде уже в основном освоены.
- Отбор вопросов для RL — задачи, которые базовая модель решает 0 или 100 раз из 100, стоит убирать: они тратят вычисления и добавляют шум в градиенты. По словам спикера, стабильная инфраструктура и данные дают больше, чем методы, которые добавляют несколько процентов.
- Перерасход токенов — reasoning-модели тратят сотни токенов на вопрос про сумму двух и трёх, а QwQ по приведённым замерам расходует в 10–100 раз больше токенов, чем обычная модель без такого обучения. Калибровка длины рассуждений под сложность задачи, по мнению спикера, станет критичной для продуктов.
- Планы вместо трейсов — от экспертов проще получить пятишаговые планы, чем 10 000-токенные трейсы рассуждений с откатами, поэтому SFT на планах реалистичен, а RL должен закреплять этот стиль на больших задачах.
- Post-training против pre-training — по оценке спикера, post-training у o1 составлял около 1% от вычислений на pre-training, а для o3 OpenAI говорила о десятикратном росте.
Кому полезно: тем, кто строит RL-пайплайн для reasoning-моделей или считает токены и задержки в агентных продуктах с долгими задачами.
Статья по теме
Главы
Похожие доклады
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию
Рекурсивное улучшение моделей
AI Engineer World's Fair 2026
Близко по содержанию
Масштабирование для задач с длинным горизонтом
AI Engineer World's Fair 2026
Близко по содержанию
Прокачка модели: RFT, DPO, SFT (fine-tuning с OpenAI)
AI Engineer World's Fair 2025
Близко по содержанию

