Эффективное обучение с подкреплением
Efficient Reinforcement Learning
Синхронный RL простаивает на самых медленных ответах модели, а моделирование системы помогает разделить GPU между генерацией и обучением, и по симуляции авторов это около 60% ускорения.
- Простой при синхронном RL — шаг обучения ждёт самый долгий ответ: в эксперименте с Qwen-30B 99% из 40 задач по 32 ответа завершились примерно за 40 секунд, а последний процент потребовал ещё 80 секунд, и GPU всё это время простаивали.
- Асинхронный RL с PipelineRL — одни GPU только генерируют, другие только обучаются, а веса обновляются прямо во время генерации, поэтому в одном ответе могут быть токены от нескольких версий модели.
- Цена staleness — чем больше допустимое отставание версий, тем меньше простоя, но дисперсия importance ratio растёт и обучение может расходиться, поэтому порог staleness задаётся как жёсткое ограничение.
- Модель системы на первых принципах — латентность прямого прохода по размеру пакета описана roofline-моделью, а перебор разбиения GPU с двумя ограничениями (равная скорость генерации и обучения, верхняя граница staleness) позволяет оценить конфигурацию до дорогого запуска.
Кому полезно: тем, кто обучает модели через RL на задачах конкретной компании и упирается в длительность и стоимость прогонов.
Статья по теме
На какие вопросы отвечает доклад
Почему синхронный RL недоиспользует GPU и как асинхронный режим это исправляет?
Шаг ждёт самый медленный сэмпл, и GPU простаивают. В эксперименте на Qwen-30B 99% сэмплов завершились за 40 секунд, а хвост занял ещё 80. Асинхронный PipelineRL выделяет отдельные GPU под сэмплинг и обучение и обновляет веса на лету.
▶ 3:15Надёжное обучение и узкие места синхронного обучения с подкреплениемПочему устаревшие токены в асинхронном RL делают обучение нестабильным?
Чем больше допустимое отставание политики (staleness), тем выше дисперсия importance ratio в policy gradient, и обучение может разойтись. Чтобы терпеть большее отставание, нужны улучшения самого алгоритма.
▶ 3:15Надёжное обучение и узкие места синхронного обучения с подкреплениемКак распределить GPU между сэмплингом и обучением, чтобы RL работал быстрее?
Авторы строят модель системы по латентности инференса в зависимости от размера батча и пропускной способности обучения на GPU. Два ограничения: скорость генерации равна скорости потребления, а отставание не выше порога. По их симуляции это даёт около 60% ускорения относительно синхронного режима.
▶ 8:57Моделирование бюджета GPU и распределения ресурсов с нуляКак оценить длительность RL-обучения до запуска на GPU?
Симуляция по распределению длины ответов, оценке латентности прямого прохода и пропускной способности обучения позволяет прогнать нагрузку до реального запуска. Так можно проверить, как меняется оптимальная конфигурация при более длинных ответах.
▶ 8:57Моделирование бюджета GPU и распределения ресурсов с нуляКак выбрать размер батча генерации, чтобы не упереться в память KV cache?
При малых батчах инференс ограничен памятью, и латентность растёт слабо. При больших он упирается в вычисления. Батч берут максимальным, при котором KV cache ещё помещается в память.
▶ 8:57Моделирование бюджета GPU и распределения ресурсов с нуля
Главы
Похожие доклады
Масштабирование reinforcement learning между дата-центрами
AI Engineer World's Fair 2026
Близко по содержанию
Введение в serving LLM с SGLang
AI Engineer World's Fair 2025
Близко по содержанию
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
От 15% до 90% загрузки GPU: исправьте конвейер данных, а не модель
AI Engineer World's Fair 2026
Близко по содержанию


