Запуск Gemma 4 на iPhone: 40 токенов/с с MLX
Running Gemma 4 On-Device: 40 Tokens/s on iPhone with MLX
Квантованная Gemma 4 E2B запускается на iPhone через MLX и, по словам спикера, выдаёт около 40 токенов в секунду.
- Нативная интеграция — библиотека mlx-swift-lm подключается к iOS, iPadOS и macOS приложению, а модель загружается по ID из Hugging Face. По словам спикера, базовое приложение с моделью собирается меньше чем за десять минут.
- Выбор квантования — полная точность для телефона слишком велика. Спикер советует брать от 4-bit до 8-bit, так как ниже 4-bit качество ответов заметно падает.
- Вызов инструментов — mlx-swift-lm уже поддерживает tool calling, а структурированная генерация в библиотеке пока не готова, её пробуют реализовать сторонние пакеты.
- Маленькие модели для автоматизации — в приложении Locally AI модель на 350 миллионов параметров от Liquid работает в Shortcuts и обрабатывает текст.
Кому полезно: разработчикам, которые хотят запускать небольшие LLM офлайн в iOS-приложении.
Статья по теме
На какие вопросы отвечает доклад
Как запустить LLM прямо на iPhone без облачного API?
Используйте MLX, фреймворк Apple для Apple silicon, и библиотеку mlx-swift-lm: по словам спикера, приложение с работающей моделью можно собрать меньше чем за десять минут.
▶ 1:20MLX на Apple silicon и интеграция в нативные приложенияКакую квантизацию выбрать, чтобы модель работала на телефоне и не теряла качество?
Спикер советует брать от 4-bit до 8-bit в зависимости от размера модели: ниже 4-bit качество ответов заметно падает, а для маленьких моделей имеет смысл 8-bit.
▶ 2:44Экосистема MLX, модели Hugging Face и квантизацияГде взять готовые веса моделей в формате MLX для запуска на устройстве?
В сообществе MLX Community на Hugging Face, где квантованные версии новых моделей появляются примерно через 30 минут после релиза; идентификатор модели передаётся во фреймворк, и загрузка идёт автоматически.
▶ 2:44Экосистема MLX, модели Hugging Face и квантизацияКакая скорость генерации токенов достижима на iPhone для модели Gemma 4 E2B?
По словам спикера, Gemma 4 E2B в 4-bit на последних iPhone выдаёт около 40 токенов в секунду, что он показал в живом офлайн-демо; на старых телефонах скорость ниже, но 20 токенов в секунду он называет достаточными для многих задач.
▶ 2:44Экосистема MLX, модели Hugging Face и квантизацияПоддерживает ли локальная модель на iPhone tool calling и structured generation?
Tool calling в mlx-swift-lm поддерживается, а structured generation пока нет: для него есть сторонние пакеты поверх библиотеки, и модели стали заметно лучше в вызове инструментов.
▶ 8:54Вопросы и ответы: tool calling и поддерживаемые моделиКак поднять локальный сервер с OpenAI-совместимым API для моделей на Mac?
LM Studio умеет открывать локальный сервер для моделей из Hugging Face, работающих на llama.cpp или MLX, с форматами ответов OpenAI и Anthropic, что позволяет подключить к нему своё приложение.
▶ 6:01Демонстрация 40 токенов в секунду
Главы
Похожие доклады
Запускаем LLM локально
AI Engineer Summit 2023
Близко по содержанию
Диффузия текста
AI Engineer Europe 2026
Близко по содержанию
Ускорение AI на периферии
AI Engineer Europe 2026
Близко по содержанию
Компиляторы в эпоху LLM
AI Engineer Code 2025
Близко по содержанию

