← Каталог

· AI Engineer Europe 2026

Ускорение AI на периферии

Accelerating AI on Edge — Chintan Parikh and Weiyi Wang, Google DeepMind

Gemma 4 E2B и 4B с нативными function calling и режимом рассуждений запускаются на устройстве через LiteRT на телефонах, ноутбуках и Raspberry Pi.

  • Агентные сценарии без облака — E2B требует примерно 1–2 ГБ RAM, модель 4B тяжелее и рассчитана на ноутбуки и IoT. Модели выдают структурированный JSON и вызывают внешние API по мере необходимости, а сам инференс остаётся на устройстве.
  • Один формат на все платформы — модели в формате TensorFlow Lite исполняются в LiteRT на Android, iOS, macOS, Linux, Windows, в вебе и на IoT. PyTorch и JAX конвертируются в тот же формат через LiteRT Torch.
  • NPU и цифры — интеграции с Qualcomm и MediaTek. По словам докладчика, NPU даёт прирост в 3–10 раз, рантайм на мобильных до 35 раз быстрее Llama, а на IoT примерно в 3 раза.
  • Проверка на парке устройств — AI Edge Portal, облачный бенчмаркинг на Android-устройствах, помогает решить, нужна ли AOT- или JIT-компиляция, до выкатки.

Кому полезно: тем, кто выводит небольшие модели на телефоны и IoT-устройства с офлайн-работой или приватностью. Доклад во многом рассказывает о продуктах Google.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады