Frontier AI у вас дома (буквально)
Frontier AI at Home (literally)
Локальный запуск больших моделей упирается в память и decode, и, по словам автора, выигрыш дают связки разных устройств и оптимизация всего стека.
- Prefill и decode на разных машинах — prefill идёт на NVIDIA Spark (около $4000), decode на MacBook с большей пропускной способностью памяти. На длинных промптах, по замерам спикера, от начала до конца примерно в два раза быстрее, на коротких выигрыша нет.
- RDMA по Thunderbolt 5 — tensor parallelism требует двух синхронизаций на слой, то есть 120 на токен для модели с 60 слоями. При задержке 0,3 мс на это уходит около 36 мс, а с RDMA задержка падает до единиц микросекунд.
- Харнес меняет скорость — одна и та же модель в Claude Code и OpenCode работает с разной производительностью. По словам спикера, слияние лишних kernels для Qwen 3.5 на Apple Silicon подняло инференс примерно на 30%.
- Квантизация до одного бита — по словам спикера, такая большая модель уступает меньшей модели без квантизации, поэтому демо запуска триллионных моделей на ноутбуке стоит проверять по качеству.
Кому полезно: тем, кто выбирает железо под локальный инференс большой модели на нескольких Mac или GPU.
Статья по теме
Главы
Ещё доклады: Alex Cheema
Страница спикера →Состояние дел: почему локальный ИИ и почему именно сейчас
Ahmad Osman, Alex Cheema, Nader Khalil, Joseph Nelson, Matthew Berman
AI Engineer World's Fair 2026
Похожие доклады
Результаты frontier-уровня на устройстве
AI Engineer World's Fair 2026
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию
Укрощая кембрийский взрыв AI-оборудования
AI Engineer World's Fair 2026
Близко по содержанию

