← Каталог

· AI Engineer Europe 2026

Запуск Gemma 4 на iPhone: 40 токенов/с с MLX

Running Gemma 4 On-Device: 40 Tokens/s on iPhone with MLX

Квантованная Gemma 4 E2B запускается на iPhone через MLX и, по словам спикера, выдаёт около 40 токенов в секунду.

  • Нативная интеграция — библиотека mlx-swift-lm подключается к iOS, iPadOS и macOS приложению, а модель загружается по ID из Hugging Face. По словам спикера, базовое приложение с моделью собирается меньше чем за десять минут.
  • Выбор квантования — полная точность для телефона слишком велика. Спикер советует брать от 4-bit до 8-bit, так как ниже 4-bit качество ответов заметно падает.
  • Вызов инструментов — mlx-swift-lm уже поддерживает tool calling, а структурированная генерация в библиотеке пока не готова, её пробуют реализовать сторонние пакеты.
  • Маленькие модели для автоматизации — в приложении Locally AI модель на 350 миллионов параметров от Liquid работает в Shortcuts и обрабатывает текст.

Кому полезно: разработчикам, которые хотят запускать небольшие LLM офлайн в iOS-приложении.

Статья по теме

На какие вопросы отвечает доклад

  • Как запустить LLM прямо на iPhone без облачного API?

    Используйте MLX, фреймворк Apple для Apple silicon, и библиотеку mlx-swift-lm: по словам спикера, приложение с работающей моделью можно собрать меньше чем за десять минут.

    ▶ 1:20MLX на Apple silicon и интеграция в нативные приложения
  • Какую квантизацию выбрать, чтобы модель работала на телефоне и не теряла качество?

    Спикер советует брать от 4-bit до 8-bit в зависимости от размера модели: ниже 4-bit качество ответов заметно падает, а для маленьких моделей имеет смысл 8-bit.

    ▶ 2:44Экосистема MLX, модели Hugging Face и квантизация
  • Где взять готовые веса моделей в формате MLX для запуска на устройстве?

    В сообществе MLX Community на Hugging Face, где квантованные версии новых моделей появляются примерно через 30 минут после релиза; идентификатор модели передаётся во фреймворк, и загрузка идёт автоматически.

    ▶ 2:44Экосистема MLX, модели Hugging Face и квантизация
  • Какая скорость генерации токенов достижима на iPhone для модели Gemma 4 E2B?

    По словам спикера, Gemma 4 E2B в 4-bit на последних iPhone выдаёт около 40 токенов в секунду, что он показал в живом офлайн-демо; на старых телефонах скорость ниже, но 20 токенов в секунду он называет достаточными для многих задач.

    ▶ 2:44Экосистема MLX, модели Hugging Face и квантизация
  • Поддерживает ли локальная модель на iPhone tool calling и structured generation?

    Tool calling в mlx-swift-lm поддерживается, а structured generation пока нет: для него есть сторонние пакеты поверх библиотеки, и модели стали заметно лучше в вызове инструментов.

    ▶ 8:54Вопросы и ответы: tool calling и поддерживаемые модели
  • Как поднять локальный сервер с OpenAI-совместимым API для моделей на Mac?

    LM Studio умеет открывать локальный сервер для моделей из Hugging Face, работающих на llama.cpp или MLX, с форматами ответов OpenAI и Anthropic, что позволяет подключить к нему своё приложение.

    ▶ 6:01Демонстрация 40 токенов в секунду

Главы

Похожие доклады