← Каталог

· AI Engineer World's Fair 2025

OpenThoughts: рецепты подготовки данных для reasoning-моделей

OpenThoughts: Data Recipes for Reasoning Models

Рецепт сбора reasoning-данных важнее их объёма: по словам авторов, 7B модель, обученная на датасете OpenThoughts3 через SFT, обходит DeepSeek-R1 Qwen 7B.

  • Несколько ответов на один вопрос — 30 тысяч вопросов с одним ответом на каждый дают примерно ту же точность, что 1/16 вопросов с шестнадцатью ответами. Так объём данных растёт в 16 раз без новых вопросов.
  • Учитель важнее его рейтинга на бенчмарках — по словам авторов, QwQ-32B оказался лучшим учителем, чем DeepSeek-R1, а Claude как учитель показал себя плохо. Синтетические вопросы в их экспериментах превзошли вопросы с форумов и написанные людьми.
  • Фильтрация под домен — для кода работали метки сложности вопроса, для математики и науки длина ответа учителя. Проверка правильности ответов для SFT почти не помогла, а меньший набор качественных источников оказался лучше широкого разнообразия.
  • Дистилляция может превзойти учителя — в задаче классификации решений Верховного суда 7B модель на 2 тысячах вопросов с пятью ответами и проверкой обошла R1. Оценка на маленьких наборах, например 30 задач AIME, усреднялась по десяти прогонам, иначе шум заглушал сигнал.

Кому полезно: тем, кто хочет обучать собственные reasoning модели через SFT и строить датасеты под свой домен.

Статья по теме

Главы

Ещё доклады: Ryan Marten

Страница спикера →

Похожие доклады