← Каталог

· AI Engineer Europe 2026

Почему MLX

Why MLX

Фреймворк MLX позволяет запускать AI-агентов и мультимодальные модели прямо на Apple silicon, без облачных сервисов и подписок.

  • Большие модели на устройстве — по словам автора, Gemma 4 26B работает на iPhone с подгрузкой весов из памяти устройства, а модели в сотни миллиардов параметров запускаются и на первом M1 MacBook.
  • Речевая цепочка из модулей — распознавание речи, языковая модель и синтез речи собираются в цепочку, и каждый компонент выбирается под железо. Синтезатор Marvis, по словам автора, выдаёт аудио меньше чем за 100 миллисекунд.
  • Сжатие KV cache — автор реализовал TurboQuant в MLX в день публикации статьи. По его данным, KV cache уменьшается в четыре раза при сопоставимом качестве ответов, а при контексте 300 тысяч токенов пропускная способность почти удваивается.
  • GPU вместо Neural Engine — MLX считает на GPU, а Neural Engine подключается только через Core ML, с которым, по словам автора, разработчикам трудно работать. Загрузку GPU можно смотреть утилитой mactop.

Кому полезно: тем, кто хочет вынести часть агентных или голосовых сценариев на устройство вместо платных облачных API.

Статья по теме

Главы

Похожие доклады