Запуск LLM локально: практическая производительность на DGX Spark
Running LLMs locally: Practical LLM Performance on DGX Spark — Mozhgan Kabiri chimeh, NVIDIA
Квантизация в NVFP4 даёт 14B-модели на DGX Spark первый токен в 3,4 раза быстрее неквантованной версии, по словам спикера.
- Воспроизводимый замер — vLLM запускается в NVIDIA-контейнере внутри Docker, каждый прогон делает три обязательных прогрева, а метрики GPU пишутся раз в секунду; результат сохраняется как версионированный артефакт с метаданными и ответами модели.
- Пропускная способность важнее объёма памяти — 128 ГБ unified memory позволяют загрузить модели до примерно 200 млрд параметров, но скорость генерации упирается в перенос данных: 14B в NVFP4 выдаёт около 20 токенов в секунду, а базовая 14B-версия падает до 8,4.
- Время до первого токена — замер строится на стриминговом ответе vLLM: время фиксируется на первом фрагменте ответа, а рост задержки у больших моделей спикер объясняет тем, что перед первым токеном считается больше.
Кому полезно: тем, кто выбирает между локальным железом и облаком для прототипов с чувствительными данными и хочет переносить стек в DGX Cloud без смены инструментов. Доклад во многом презентация железа NVIDIA, зато методика замера описана подробно.
Доклад цитируется в статьях
На какие вопросы отвечает доклад
Как провести воспроизводимый бенчмарк LLM локально?
Модель поднимали через vLLM в NVIDIA-контейнере с Docker-изоляцией, делали три прогревочных запуска и писали метрики GPU раз в секунду. Результаты каждого запуска сохранялись в отдельную папку с метаданными.
▶ 2:40Воспроизводимое измерение производительности Qwen с vLLM и DockerКак измерить время до первого токена у стримингового ответа модели?
Время фиксируется по первому чанку потокового ответа сервера vLLM, а не по полному ответу. Спикер считает именно эту метрику определяющей для того, как пользователь воспринимает скорость приложения.
▶ 4:13Инструментирование потоковой генерации ответов и результаты по пропускной способностиСтоит ли квантизовать модель в NVFP4, если важна скорость отклика?
По данным спикера, 14B-модель в NVFP4 выдаёт первый токен в 3,4 раза быстрее неоптимизированной 14B, а генерация идёт 20,19 против 8,40 токенов в секунду.
▶ 6:16Квантование NVFP4, задержка до первого токена и пропускная способность памятиПочему генерация замедляется у больших моделей, даже если они помещаются в память?
Объём памяти не равен пропускной способности: скорость упирается в то, как быстро данные переносятся из памяти, поэтому квантизация повышает объём интеллекта на байт.
▶ 6:16Квантование NVFP4, задержка до первого токена и пропускная способность памятиКогда LLM стоит запускать локально, а не в облаке?
Спикер называет три случая: стабильная нагрузка, чувствительные к приватности данные и быстрое прототипирование. Дообучение можно вести локально на том же стеке ПО, что в DGX Cloud, а затем масштабировать.
▶ 9:23Локальное прототипирование с учетом требований к конфиденциальности и масштабирование в облакеМожно ли запускать модели на 200 млрд параметров на одной машине без дата-центра?
По словам спикера, суперчип GB10 с 128 ГБ унифицированной памяти позволяет работать локально с моделями примерно до 200 млрд параметров.
▶ 1:39Архитектура DGX Spark и унифицированная память Grace Blackwell
Главы
Похожие доклады
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Близко по содержанию
Укрощая кембрийский взрыв AI-оборудования
AI Engineer World's Fair 2026
Близко по содержанию
Результаты frontier-уровня на устройстве
AI Engineer World's Fair 2026
Близко по содержанию
Возможно, вам не нужны 50 шагов диффузии
AI Engineer Europe 2026
Близко по содержанию

