· AI Engineer World's Fair 2025
OpenThoughts: рецепты подготовки данных для reasoning-моделей
OpenThoughts: Data Recipes for Reasoning Models
Рецепт сбора reasoning-данных важнее их объёма: по словам авторов, 7B модель, обученная на датасете OpenThoughts3 через SFT, обходит DeepSeek-R1 Qwen 7B.
- Несколько ответов на один вопрос — 30 тысяч вопросов с одним ответом на каждый дают примерно ту же точность, что 1/16 вопросов с шестнадцатью ответами. Так объём данных растёт в 16 раз без новых вопросов.
- Учитель важнее его рейтинга на бенчмарках — по словам авторов, QwQ-32B оказался лучшим учителем, чем DeepSeek-R1, а Claude как учитель показал себя плохо. Синтетические вопросы в их экспериментах превзошли вопросы с форумов и написанные людьми.
- Фильтрация под домен — для кода работали метки сложности вопроса, для математики и науки длина ответа учителя. Проверка правильности ответов для SFT почти не помогла, а меньший набор качественных источников оказался лучше широкого разнообразия.
- Дистилляция может превзойти учителя — в задаче классификации решений Верховного суда 7B модель на 2 тысячах вопросов с пятью ответами и проверкой обошла R1. Оценка на маленьких наборах, например 30 задач AIME, усреднялась по десяти прогонам, иначе шум заглушал сигнал.
Кому полезно: тем, кто хочет обучать собственные reasoning модели через SFT и строить датасеты под свой домен.
Статья по теме
Главы
Ещё доклады: Ryan Marten
Страница спикера →Всё — это rollout
AI Engineer World's Fair 2026
Похожие доклады
Прокачка модели: RFT, DPO, SFT (fine-tuning с OpenAI)
AI Engineer World's Fair 2025
Близко по содержанию
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Близко по содержанию
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию

