← Каталог

· AI Engineer World's Fair 2025

Клуб разбора статей Latent Space: специальный выпуск AIEWF (проверка временем, DeepSeek-R1/V3)

Latent Space Paper Club: AIEWF Special Edition (Test of Time, DeepSeek-R1/V3) — Vibhu Sapra

Дообучение reasoning-модели через RL на задачах с проверяемым ответом заметно повышает её качество, а трассы рассуждений переносятся в маленькие модели дистилляцией.

  • Больше RL вместо больших прогонов претрейна — по данным DeepSeek, обновлённая R1-0528 рассуждает примерно вдвое дольше: средняя длина выросла с 12 тысяч до 24 тысяч токенов, а AIME 2024 вырос с 70% до 87,5%.
  • RL на математике и коде — R1-Zero обучали GRPO без SFT-старта на задачах, где ответ или компиляцию можно проверить автоматически; награда учитывала точность и формат, но модель смешивала языки в рассуждениях.
  • Четыре этапа для полного R1 — несколько тысяч примеров холодного старта, RL, отбор через rejection sampling из 800 тысяч сгенерированных примеров (600 тысяч по рассуждениям, 200 тысяч общих) и финальный RL.
  • Дистилляция трасс — SFT на трассах R1 дал Qwen3-8B, который по словам авторов обходит Qwen3-32B, а RL на 32B-модели оказался хуже такой дистилляции.

Кому полезно: тем, кто решает, дистиллировать ли трассы рассуждений большой модели в небольшую или дообучать её с нуля через RL.

Статья по теме

На какие вопросы отвечает доклад

  • Как повысить качество ответов модели на сложных задачах, дав ей больше времени на рассуждения?

    Дополнительный RL на длинных цепочках рассуждений: по словам спикера, DeepSeek-R1 в обновлении 28 мая удвоил среднюю длину рассуждений примерно с 12 до 25 тысяч токенов, а AIME 2024 вырос с 70% до 87,5%.

    ▶ 10:04Бенчмарки DeepSeek и дистилляция моделей
  • Как обучить reasoning модель без размеченных цепочек рассуждений?

    Чистый RL с GRPO на базовой модели DeepSeek-V3 на математике и коде, где ответ проверяется автоматически; награда учитывает точность и формат. Так появились рефлексия и aha moments.

    ▶ 16:46Вычисления во время тестирования и рассуждения с reinforcement learning
  • Почему модель, обученная только чистым RL, плохо читается и смешивает языки?

    R1-Zero рассуждает на нескольких языках. Авторы добавили холодный старт из нескольких тысяч примеров SFT, rejection sampling на 800 тысячах примеров и финальный этап RL.

    ▶ 39:52Rejection sampling и финальный этап reinforcement learning
  • Как перенести reasoning в маленькую модель, которая работает на ноутбуке?

    SFT-дистилляцией длинных reasoning-трейсов большой модели. По словам спикера, дистиллированная Qwen3-8B сравнялась с Qwen3-235B в режиме thinking.

    ▶ 39:52Rejection sampling и финальный этап reinforcement learning
  • Стоит ли обучать маленькую модель через RL или лучше дистиллировать её из большой?

    По словам спикера, RL на Qwen 32B за 10 тысяч шагов дал результат хуже дистилляции, поэтому для небольших моделей дистилляция эффективнее.

    ▶ 39:52Rejection sampling и финальный этап reinforcement learning
  • Почему дальнейшее увеличение объёма pre-training перестаёт окупаться?

    Обучение выросло с сотен миллиардов до десятков триллионов токенов, и дальше масштабировать его слишком дорого. Авторы сместили рост качества на этап инференса через reasoning и RL.

    ▶ 16:46Вычисления во время тестирования и рассуждения с reinforcement learning

Главы

Похожие доклады