← Каталог

· AI Engineer World's Fair 2026

Сжатие моделей для edge-устройств

Compression at the Edge

Daniel Han, Merve Noyan и ещё 3 спикераВсе 5Свернуть

Квантизация сохраняет качество модели, если выбирать точность для каждого слоя по его чувствительности, а не сжимать всю сеть одинаково.

  • Разная точность для разных слоев — первый и последний слои важны, а MoE-слои выдерживают очень низкие биты. По словам спикеров, линейные attention-слои квантовать нельзя: на коротких тестах модель выглядит нормально, а на длинном контексте выдает бессмыслицу.
  • Анализ чувствительности вместо эвристик — NVIDIA подбирает точность слоев градиентным анализом и решателем линейного программирования. Цель для NVFP4 — деградация меньше 1% на бенчмарках, а не эффект на глаз.
  • Большая модель в 4 бита вместо маленькой в 16 — по словам спикера, 120B в 4-bit при том же размере на диске, что и 35B в bfloat16, работает лучше.
  • KL-дивергенция вместо точности на бенчмарках — сравнение логитов квантованной модели с bfloat16 на калибровочных данных, по словам Daniel Han, надежнее бенчмарков с семплированием. Бенчмарки при этом не ловят поведение в харнессе, поэтому модель стоит проверить в реальных агентных сценариях.

Кому полезно: тем, кто выбирает квантованную модель для локального запуска или сжимает собственную и хочет не потерять длинный контекст.

Статья по теме

Главы

Ещё доклады: Daniel Han

Все 4 доклада →

Ещё доклады: Merve Noyan

Страница спикера →

Похожие доклады