← Каталог

· AI Engineer World's Fair 2025

Таксономия моделей рассуждения следующего поколения

A Taxonomy for Next-Generation Reasoning Models

Следующий рубеж для reasoning-моделей — целенаправленное обучение планированию, калибровке объёма рассуждений и декомпозиции задач, потому что навыки в математике и коде уже в основном освоены.

  • Отбор вопросов для RL — задачи, которые базовая модель решает 0 или 100 раз из 100, стоит убирать: они тратят вычисления и добавляют шум в градиенты. По словам спикера, стабильная инфраструктура и данные дают больше, чем методы, которые добавляют несколько процентов.
  • Перерасход токенов — reasoning-модели тратят сотни токенов на вопрос про сумму двух и трёх, а QwQ по приведённым замерам расходует в 10–100 раз больше токенов, чем обычная модель без такого обучения. Калибровка длины рассуждений под сложность задачи, по мнению спикера, станет критичной для продуктов.
  • Планы вместо трейсов — от экспертов проще получить пятишаговые планы, чем 10 000-токенные трейсы рассуждений с откатами, поэтому SFT на планах реалистичен, а RL должен закреплять этот стиль на больших задачах.
  • Post-training против pre-training — по оценке спикера, post-training у o1 составлял около 1% от вычислений на pre-training, а для o3 OpenAI говорила о десятикратном росте.

Кому полезно: тем, кто строит RL-пайплайн для reasoning-моделей или считает токены и задержки в агентных продуктах с долгими задачами.

Статья по теме

Главы

Похожие доклады