← Каталог

· AI Engineer World's Fair 2026

От 15% до 90% загрузки GPU: исправьте конвейер данных, а не модель

From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model

В multimodal SFT утилизацию GPU определяет подготовка данных, а не модель: по словам спикера, перестройка пайплайна подняла её с 15% до 90%.

  • Асинхронная загрузка и отдельные процессы — картинки из S3 загружаются через asyncio, а декодирование и ресайз выполняются в Ray actors; по словам спикера, это дало ускорение примерно на 25%, а ожидание батча при серийной загрузке превышало 100 секунд при 15–20 секундах обучения.
  • Предзагрузка батчей в фоновой очереди — producer всегда опережает trainer, поэтому данные на шаге почти не ждут; цена в том, что checkpoint и возобновление обучения усложняются, а в начале работает прогрев очереди.
  • Ray object references вместо копирования — мегабайтные тензоры картинок перестали копироваться через координатор; на промежуточном этапе доля времени ожидания упала с 85% до 20%.
  • Настройки меняются с масштабом — при четырёхкратном росте DP ranks и примерно 200 потоках данных упёрлась сетевая карта узла с colocated workers; spread scheduling и zero-copy retrieval, по словам спикера, дали ещё 50% пропускной способности, хотя на малом эксперименте пользы не было. Совет спикера: профилировать каждый этап и пересматривать настройки фреймворка при каждом масштабировании.

Кому полезно: тем, кто обучает мультимодальные модели на изображениях из облачного хранилища и видит простой GPU из-за загрузки данных.

На какие вопросы отвечает доклад

  • Почему GPU простаивает при мультимодальном SFT, если CPU-ресурсов в кластере больше?

    Последовательная загрузка изображений из S3 занимает больше 100 секунд на батч при 15–20 секундах обучения, поэтому утилизация GPU около 15%. Узкое место здесь загрузка и предобработка данных, а не ядра вычислений.

    ▶ 5:08Последовательная базовая версия и загрузка GPU на 15%
  • Как ускорить загрузку и обработку изображений для обучения VLM-модели?

    Авторы берут asyncio для параллельной загрузки изображений из S3 и Ray actors для обработки. По их данным, время загрузки батча упало примерно до 40 секунд, что дало ускорение около 25%.

    ▶ 6:07Выбор модели конкурентности: asyncio, потоки и акторы Ray
  • Как подготавливать батчи заранее, чтобы тренировка не ждала данные?

    Фоновый поток заполняет очередь быстрее, чем её забирает тренер, и батч уже готов к запросу. По словам спикера, время загрузки и трансформации на батч стало почти нулевым. Минусы: сложнее checkpointing и возобновление, плюс прогрев очереди в начале.

    ▶ 9:06Предварительная загрузка с очередью «производитель — потребитель»
  • Почему передача больших массивов изображений между процессами съедает память и время?

    По умолчанию каждый сэмпл копируется между процессами по значению и сериализуется несколько раз. Ray object references передают только указатель на данные, и вместе с prefetching доля ожидания в спикере упала с 85% до 20%.

    ▶ 10:37Сокращение копирований тензоров с помощью хранилища объектов Ray
  • Почему при росте числа data-parallel ranks и батча загрузка упирается в сетевую карту узла?

    Генератор данных и воркеры были размещены на одном узле для быстрой передачи, и сетевой интерфейс этого узла стал узким местом. Спикер сообщает, что разнесение воркеров по нодам вместе с zero-copy получением дало ещё 50% пропускной способности на большом масштабе.

    ▶ 12:51Масштабирование в production и насыщение сети
  • Почему настройки Ray, которые не помогают на малом масштабе, дают эффект на большом?

    По умолчанию Ray размещает воркеры на одних и тех же нодах, а spread scheduling и zero-copy retrieval на малом масштабе эффекта не дали. Спикер советует профилировать каждый этап и проверять настройки фреймворка на разных масштабах.

    ▶ 13:45Планирование spread и извлечение без копирования в больших масштабах

Главы

Похожие доклады