· AI Engineer World's Fair 2026
Сжатие моделей для edge-устройств
Compression at the Edge
Daniel Han, Merve Noyan и ещё 3 спикераВсе 5Свернуть
Квантизация сохраняет качество модели, если выбирать точность для каждого слоя по его чувствительности, а не сжимать всю сеть одинаково.
- Разная точность для разных слоев — первый и последний слои важны, а MoE-слои выдерживают очень низкие биты. По словам спикеров, линейные attention-слои квантовать нельзя: на коротких тестах модель выглядит нормально, а на длинном контексте выдает бессмыслицу.
- Анализ чувствительности вместо эвристик — NVIDIA подбирает точность слоев градиентным анализом и решателем линейного программирования. Цель для NVFP4 — деградация меньше 1% на бенчмарках, а не эффект на глаз.
- Большая модель в 4 бита вместо маленькой в 16 — по словам спикера, 120B в 4-bit при том же размере на диске, что и 35B в bfloat16, работает лучше.
- KL-дивергенция вместо точности на бенчмарках — сравнение логитов квантованной модели с bfloat16 на калибровочных данных, по словам Daniel Han, надежнее бенчмарков с семплированием. Бенчмарки при этом не ловят поведение в харнессе, поэтому модель стоит проверить в реальных агентных сценариях.
Кому полезно: тем, кто выбирает квантованную модель для локального запуска или сжимает собственную и хочет не потерять длинный контекст.
Статья по теме
Главы
Ещё доклады: Daniel Han
Все 4 доклада →Технические основы LLM на низком уровне
AI Engineer World's Fair 2024
Исправляем ошибки в Gemma, Llama и Phi-3
AI Engineer World's Fair 2024
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Ещё доклады: Merve Noyan
Страница спикера →Проблема не в навыках: не деплойте vision language models — используйте их с Skills
AI Engineer World's Fair 2026
Агенты для самообучения: Hermes Agent, HF Traces, skills, MCP и fine-tuning
AI Engineer Europe 2026
Похожие доклады
Специальные темы: kernels, RL и reward hacking в агентах
AI Engineer World's Fair 2026
Тот же спикер: Daniel Han
Подробный разбор Gemma 4
AI Engineer Europe 2026
Близко по содержанию
Локальные модели: доверие, контроль и оптимизация
Carter Abdallah, Chris Alexiuk, Lucas Atkins, Vincent Weisser
AI Engineer World's Fair 2026
Тот же спикер: Chris Alexiuk
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Близко по содержанию





