· AI Engineer World's Fair 2026
От 15% до 90% загрузки GPU: исправьте конвейер данных, а не модель
From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model
В multimodal SFT утилизацию GPU определяет подготовка данных, а не модель: по словам спикера, перестройка пайплайна подняла её с 15% до 90%.
- Асинхронная загрузка и отдельные процессы — картинки из S3 загружаются через asyncio, а декодирование и ресайз выполняются в Ray actors; по словам спикера, это дало ускорение примерно на 25%, а ожидание батча при серийной загрузке превышало 100 секунд при 15–20 секундах обучения.
- Предзагрузка батчей в фоновой очереди — producer всегда опережает trainer, поэтому данные на шаге почти не ждут; цена в том, что checkpoint и возобновление обучения усложняются, а в начале работает прогрев очереди.
- Ray object references вместо копирования — мегабайтные тензоры картинок перестали копироваться через координатор; на промежуточном этапе доля времени ожидания упала с 85% до 20%.
- Настройки меняются с масштабом — при четырёхкратном росте DP ranks и примерно 200 потоках данных упёрлась сетевая карта узла с colocated workers; spread scheduling и zero-copy retrieval, по словам спикера, дали ещё 50% пропускной способности, хотя на малом эксперименте пользы не было. Совет спикера: профилировать каждый этап и пересматривать настройки фреймворка при каждом масштабировании.
Кому полезно: тем, кто обучает мультимодальные модели на изображениях из облачного хранилища и видит простой GPU из-за загрузки данных.
На какие вопросы отвечает доклад
Почему GPU простаивает при мультимодальном SFT, если CPU-ресурсов в кластере больше?
Последовательная загрузка изображений из S3 занимает больше 100 секунд на батч при 15–20 секундах обучения, поэтому утилизация GPU около 15%. Узкое место здесь загрузка и предобработка данных, а не ядра вычислений.
▶ 5:08Последовательная базовая версия и загрузка GPU на 15%Как ускорить загрузку и обработку изображений для обучения VLM-модели?
Авторы берут asyncio для параллельной загрузки изображений из S3 и Ray actors для обработки. По их данным, время загрузки батча упало примерно до 40 секунд, что дало ускорение около 25%.
▶ 6:07Выбор модели конкурентности: asyncio, потоки и акторы RayКак подготавливать батчи заранее, чтобы тренировка не ждала данные?
Фоновый поток заполняет очередь быстрее, чем её забирает тренер, и батч уже готов к запросу. По словам спикера, время загрузки и трансформации на батч стало почти нулевым. Минусы: сложнее checkpointing и возобновление, плюс прогрев очереди в начале.
▶ 9:06Предварительная загрузка с очередью «производитель — потребитель»Почему передача больших массивов изображений между процессами съедает память и время?
По умолчанию каждый сэмпл копируется между процессами по значению и сериализуется несколько раз. Ray object references передают только указатель на данные, и вместе с prefetching доля ожидания в спикере упала с 85% до 20%.
▶ 10:37Сокращение копирований тензоров с помощью хранилища объектов RayПочему при росте числа data-parallel ranks и батча загрузка упирается в сетевую карту узла?
Генератор данных и воркеры были размещены на одном узле для быстрой передачи, и сетевой интерфейс этого узла стал узким местом. Спикер сообщает, что разнесение воркеров по нодам вместе с zero-copy получением дало ещё 50% пропускной способности на большом масштабе.
▶ 12:51Масштабирование в production и насыщение сетиПочему настройки Ray, которые не помогают на малом масштабе, дают эффект на большом?
По умолчанию Ray размещает воркеры на одних и тех же нодах, а spread scheduling и zero-copy retrieval на малом масштабе эффекта не дали. Спикер советует профилировать каждый этап и проверять настройки фреймворка на разных масштабах.
▶ 13:45Планирование spread и извлечение без копирования в больших масштабах
Главы
Похожие доклады
Эффективное обучение с подкреплением
AI Engineer Code 2025
Близко по содержанию
Homa: конец TCP для AI-кластеров
Близко по содержанию
Хватит гадать с настройками vLLM: бенчмаркинг LLM на Runpod
Близко по содержанию
Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)
AI Engineer World's Fair 2025
Близко по содержанию
