· AI Engineer World's Fair 2025
Повышаем эффективность GPU с помощью непрерывного профилирования
Maximize GPU Efficiency with Continuous Profiling for GPUs
Непрерывный профайлинг GPU, который совмещает метрики NVIDIA NVML с CPU-стеками eBPF, показывает, какой код на CPU не успевает кормить GPU.
- Низкие накладные расходы — профайлер на eBPF сэмплирует стеки примерно 100 раз в секунду и не требует менять приложения. По словам спикера, для CPU-профиля это меньше процента загрузки CPU и около 4 МБ памяти.
- Корреляция простоя GPU с кодом — utilization, память, мощность, температура, частоты и PCIe накладываются на CPU-профили, и flame chart показывает, какие Python- и CUDA-вызовы выполняются, когда GPU простаивает. Часто CPU занят загрузкой данных и не даёт GPU работать.
- Время выполнения CUDA-ядер — профайлер фиксирует старт и завершение kernel-вызовов и показывает, сколько GPU-времени тратит каждая функция. Эта возможность на момент доклада находится в превью.
- Развёртывание без правок приложений — профайлер запускается через systemd, Docker или DaemonSet в Kubernetes. Профилирование работает для компилируемых и интерпретируемых языков, включая Rust, Ruby и JVM.
Кому полезно: командам, которые держат GPU в продакшене и не понимают, простаивает ли железо из-за подготовки данных на CPU.
Статья по теме
Главы
Похожие доклады
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию
Инфраструктура Krea 2: обучение и обслуживание на больших масштабах
AI Engineer World's Fair 2026
Близко по содержанию
Оптимизация инференса LLM: от теории до экономичного развертывания
AI Engineer World's Fair 2024
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию

