Почему MLX
Why MLX
Фреймворк MLX позволяет запускать AI-агентов и мультимодальные модели прямо на Apple silicon, без облачных сервисов и подписок.
- Большие модели на устройстве — по словам автора, Gemma 4 26B работает на iPhone с подгрузкой весов из памяти устройства, а модели в сотни миллиардов параметров запускаются и на первом M1 MacBook.
- Речевая цепочка из модулей — распознавание речи, языковая модель и синтез речи собираются в цепочку, и каждый компонент выбирается под железо. Синтезатор Marvis, по словам автора, выдаёт аудио меньше чем за 100 миллисекунд.
- Сжатие KV cache — автор реализовал TurboQuant в MLX в день публикации статьи. По его данным, KV cache уменьшается в четыре раза при сопоставимом качестве ответов, а при контексте 300 тысяч токенов пропускная способность почти удваивается.
- GPU вместо Neural Engine — MLX считает на GPU, а Neural Engine подключается только через Core ML, с которым, по словам автора, разработчикам трудно работать. Загрузку GPU можно смотреть утилитой
mactop.
Кому полезно: тем, кто хочет вынести часть агентных или голосовых сценариев на устройство вместо платных облачных API.
Статья по теме
Главы
Похожие доклады
Gemma: семейство открытых моделей DeepMind
AI Engineer Europe 2026
Близко по содержанию
Почему модели TTS теперь похожи на LLM
AI Engineer Europe 2026
Близко по содержанию
Состояние дел: почему локальный ИИ и почему именно сейчас
Ahmad Osman, Alex Cheema, Nader Khalil, Joseph Nelson, Matthew Berman
AI Engineer World's Fair 2026
Близко по содержанию
Dream Machine: как масштабироваться до 1 млн пользователей за 4 дня
AI Engineer World's Fair 2025
Близко по содержанию
