← Каталог

· AI Engineer Code 2025

Эффективное обучение с подкреплением

Efficient Reinforcement Learning

Синхронный RL простаивает на самых медленных ответах модели, а моделирование системы помогает разделить GPU между генерацией и обучением, и по симуляции авторов это около 60% ускорения.

  • Простой при синхронном RL — шаг обучения ждёт самый долгий ответ: в эксперименте с Qwen-30B 99% из 40 задач по 32 ответа завершились примерно за 40 секунд, а последний процент потребовал ещё 80 секунд, и GPU всё это время простаивали.
  • Асинхронный RL с PipelineRL — одни GPU только генерируют, другие только обучаются, а веса обновляются прямо во время генерации, поэтому в одном ответе могут быть токены от нескольких версий модели.
  • Цена staleness — чем больше допустимое отставание версий, тем меньше простоя, но дисперсия importance ratio растёт и обучение может расходиться, поэтому порог staleness задаётся как жёсткое ограничение.
  • Модель системы на первых принципах — латентность прямого прохода по размеру пакета описана roofline-моделью, а перебор разбиения GPU с двумя ограничениями (равная скорость генерации и обучения, верхняя граница staleness) позволяет оценить конфигурацию до дорогого запуска.

Кому полезно: тем, кто обучает модели через RL на задачах конкретной компании и упирается в длительность и стоимость прогонов.

Статья по теме

На какие вопросы отвечает доклад

  • Почему синхронный RL недоиспользует GPU и как асинхронный режим это исправляет?

    Шаг ждёт самый медленный сэмпл, и GPU простаивают. В эксперименте на Qwen-30B 99% сэмплов завершились за 40 секунд, а хвост занял ещё 80. Асинхронный PipelineRL выделяет отдельные GPU под сэмплинг и обучение и обновляет веса на лету.

    ▶ 3:15Надёжное обучение и узкие места синхронного обучения с подкреплением
  • Почему устаревшие токены в асинхронном RL делают обучение нестабильным?

    Чем больше допустимое отставание политики (staleness), тем выше дисперсия importance ratio в policy gradient, и обучение может разойтись. Чтобы терпеть большее отставание, нужны улучшения самого алгоритма.

    ▶ 3:15Надёжное обучение и узкие места синхронного обучения с подкреплением
  • Как распределить GPU между сэмплингом и обучением, чтобы RL работал быстрее?

    Авторы строят модель системы по латентности инференса в зависимости от размера батча и пропускной способности обучения на GPU. Два ограничения: скорость генерации равна скорости потребления, а отставание не выше порога. По их симуляции это даёт около 60% ускорения относительно синхронного режима.

    ▶ 8:57Моделирование бюджета GPU и распределения ресурсов с нуля
  • Как оценить длительность RL-обучения до запуска на GPU?

    Симуляция по распределению длины ответов, оценке латентности прямого прохода и пропускной способности обучения позволяет прогнать нагрузку до реального запуска. Так можно проверить, как меняется оптимальная конфигурация при более длинных ответах.

    ▶ 8:57Моделирование бюджета GPU и распределения ресурсов с нуля
  • Как выбрать размер батча генерации, чтобы не упереться в память KV cache?

    При малых батчах инференс ограничен памятью, и латентность растёт слабо. При больших он упирается в вычисления. Батч берут максимальным, при котором KV cache ещё помещается в память.

    ▶ 8:57Моделирование бюджета GPU и распределения ресурсов с нуля

Главы

Похожие доклады