← Каталог

· AI Engineer Europe 2026

Запуск LLM локально: практическая производительность на DGX Spark

Running LLMs locally: Practical LLM Performance on DGX Spark — Mozhgan Kabiri chimeh, NVIDIA

Квантизация в NVFP4 даёт 14B-модели на DGX Spark первый токен в 3,4 раза быстрее неквантованной версии, по словам спикера.

  • Воспроизводимый замер — vLLM запускается в NVIDIA-контейнере внутри Docker, каждый прогон делает три обязательных прогрева, а метрики GPU пишутся раз в секунду; результат сохраняется как версионированный артефакт с метаданными и ответами модели.
  • Пропускная способность важнее объёма памяти — 128 ГБ unified memory позволяют загрузить модели до примерно 200 млрд параметров, но скорость генерации упирается в перенос данных: 14B в NVFP4 выдаёт около 20 токенов в секунду, а базовая 14B-версия падает до 8,4.
  • Время до первого токена — замер строится на стриминговом ответе vLLM: время фиксируется на первом фрагменте ответа, а рост задержки у больших моделей спикер объясняет тем, что перед первым токеном считается больше.

Кому полезно: тем, кто выбирает между локальным железом и облаком для прототипов с чувствительными данными и хочет переносить стек в DGX Cloud без смены инструментов. Доклад во многом презентация железа NVIDIA, зато методика замера описана подробно.

Доклад цитируется в статьях

На какие вопросы отвечает доклад

Главы

Похожие доклады