Ускорение AI на периферии
Accelerating AI on Edge — Chintan Parikh and Weiyi Wang, Google DeepMind
Gemma 4 E2B и 4B с нативными function calling и режимом рассуждений запускаются на устройстве через LiteRT на телефонах, ноутбуках и Raspberry Pi.
- Агентные сценарии без облака — E2B требует примерно 1–2 ГБ RAM, модель 4B тяжелее и рассчитана на ноутбуки и IoT. Модели выдают структурированный JSON и вызывают внешние API по мере необходимости, а сам инференс остаётся на устройстве.
- Один формат на все платформы — модели в формате TensorFlow Lite исполняются в LiteRT на Android, iOS, macOS, Linux, Windows, в вебе и на IoT. PyTorch и JAX конвертируются в тот же формат через LiteRT Torch.
- NPU и цифры — интеграции с Qualcomm и MediaTek. По словам докладчика, NPU даёт прирост в 3–10 раз, рантайм на мобильных до 35 раз быстрее Llama, а на IoT примерно в 3 раза.
- Проверка на парке устройств — AI Edge Portal, облачный бенчмаркинг на Android-устройствах, помогает решить, нужна ли AOT- или JIT-компиляция, до выкатки.
Кому полезно: тем, кто выводит небольшие модели на телефоны и IoT-устройства с офлайн-работой или приватностью. Доклад во многом рассказывает о продуктах Google.
Статья по теме
На какие вопросы отвечает доклад
Как запустить агента с вызовом функций и JSON-выводом на телефоне без облака?
Gemma 4 E2B и E4B поддерживают вызов инструментов и структурированный JSON на уровне архитектуры модели, а также режим thinking. По словам спикера, E2B требует примерно 1–2 ГБ RAM, E4B тяжелее.
▶ 1:22Модели Gemma 4 для периферийных устройств и агенты на устройствеКак конвертировать модель из PyTorch или JAX в формат для запуска на устройстве?
LiteRT Torch конвертирует модели PyTorch и JAX в формат TFLite, после чего модель можно квантовать. Model Explorer помогает изучить граф и выбрать смешанную точность для отдельных частей модели.
▶ 11:22Основы LiteRT и кроссплатформенное развёртываниеКак проверить, что модель заработает на старых Android-устройствах до релиза?
Облачный сервис AI Edge Portal прогоняет бенчмарки на парке Android-устройств. Он помогает выбрать компиляцию заранее (ahead-of-time) или на лету (just-in-time) перед широким развёртыванием.
▶ 14:35Бенчмаркинг, интеграция с оборудованием и робототехникаСтоит ли использовать NPU для распознавания и синтеза речи на телефоне или хватит CPU и GPU?
Интеграции с Qualcomm и MediaTek уже готовы. По словам спикера, NPU даёт прирост производительности в 3–10 раз и заметно снижает энергопотребление.
▶ 14:35Бенчмаркинг, интеграция с оборудованием и робототехникаМожно ли запустить языковую модель на Raspberry Pi для робота без облака?
Демо-робот на Raspberry Pi работал на CPU через LiteRT LLM и реагировал на команду с таблички. Спикер признал, что производительность пока не оптимизирована.
▶ 14:35Бенчмаркинг, интеграция с оборудованием и робототехникаКак распределить запросы между локальной моделью и облачной, чтобы экономить токены?
Спикер называет распространённой практикой маленький классификатор, который оценивает сложность запроса и решает, обрабатывать его на устройстве или отправить в облако.
▶ 19:30Вопросы аудитории, целевые устройства и модели с открытыми весами
Главы
Похожие доклады
Зачем большие? Маленькие языковые модели и agents на периферийных устройствах и в робототехнике
AI Engineer World's Fair 2026
Близко по содержанию
Foundry Local: передовые AI-приложения на устройстве с ONNX Runtime и Olive
AI Engineer World's Fair 2025
Близко по содержанию
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Близко по содержанию
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию

