← Каталог

· AI Engineer Europe 2026

Frontier AI у вас дома (буквально)

Frontier AI at Home (literally)

Локальный запуск больших моделей упирается в память и decode, и, по словам автора, выигрыш дают связки разных устройств и оптимизация всего стека.

  • Prefill и decode на разных машинах — prefill идёт на NVIDIA Spark (около $4000), decode на MacBook с большей пропускной способностью памяти. На длинных промптах, по замерам спикера, от начала до конца примерно в два раза быстрее, на коротких выигрыша нет.
  • RDMA по Thunderbolt 5 — tensor parallelism требует двух синхронизаций на слой, то есть 120 на токен для модели с 60 слоями. При задержке 0,3 мс на это уходит около 36 мс, а с RDMA задержка падает до единиц микросекунд.
  • Харнес меняет скорость — одна и та же модель в Claude Code и OpenCode работает с разной производительностью. По словам спикера, слияние лишних kernels для Qwen 3.5 на Apple Silicon подняло инференс примерно на 30%.
  • Квантизация до одного бита — по словам спикера, такая большая модель уступает меньшей модели без квантизации, поэтому демо запуска триллионных моделей на ноутбуке стоит проверять по качеству.

Кому полезно: тем, кто выбирает железо под локальный инференс большой модели на нескольких Mac или GPU.

Статья по теме

Главы

Ещё доклады: Alex Cheema

Страница спикера →

Похожие доклады