← Каталог

· AI Engineer World's Fair 2025

Повышаем эффективность GPU с помощью непрерывного профилирования

Maximize GPU Efficiency with Continuous Profiling for GPUs

Непрерывный профайлинг GPU, который совмещает метрики NVIDIA NVML с CPU-стеками eBPF, показывает, какой код на CPU не успевает кормить GPU.

  • Низкие накладные расходы — профайлер на eBPF сэмплирует стеки примерно 100 раз в секунду и не требует менять приложения. По словам спикера, для CPU-профиля это меньше процента загрузки CPU и около 4 МБ памяти.
  • Корреляция простоя GPU с кодом — utilization, память, мощность, температура, частоты и PCIe накладываются на CPU-профили, и flame chart показывает, какие Python- и CUDA-вызовы выполняются, когда GPU простаивает. Часто CPU занят загрузкой данных и не даёт GPU работать.
  • Время выполнения CUDA-ядер — профайлер фиксирует старт и завершение kernel-вызовов и показывает, сколько GPU-времени тратит каждая функция. Эта возможность на момент доклада находится в превью.
  • Развёртывание без правок приложений — профайлер запускается через systemd, Docker или DaemonSet в Kubernetes. Профилирование работает для компилируемых и интерпретируемых языков, включая Rust, Ruby и JVM.

Кому полезно: командам, которые держат GPU в продакшене и не понимают, простаивает ли железо из-за подготовки данных на CPU.

Статья по теме

Главы

Похожие доклады