От исследований к реальности вместе с Google DeepMind
Research to Reality with Google DeepMind — Paige Bailey, Google DeepMind
Открытые модели Gemma 4 от 2B до 31B параметров, по словам спикера, работают локально на одном GPU, ноутбуке и телефоне, не отправляя данные наружу.
- MoE и dense варианты — 26B построена как MoE, 31B как dense; по словам спикера, обе показывают качество, которое выше ожидаемого для их размера, поэтому распределённый инференс обычно не нужен.
- QAT-чекпоинты — квантованная версия 2B, по словам спикера, весит меньше гигабайта и помещается на мобильное устройство. Модели распространяются под Apache 2, их можно дообучать (fine-tuning) и встраивать в продукты компании.
- Function calling на телефоне — Google AI Edge Gallery для Android и iOS запускает вызов инструментов на локально установленной модели: погода и запись в календарь работают без внешнего API. Ускоритель устройства используется вместо CPU.
- Инференс в браузере — модель загружается через WebAssembly и Transformers.js и работает на машине пользователя. Демо подтверждает, что без вызова API запрос никуда не уходит.
Кому полезно: тем, кто запускает LLM на клиентских устройствах или в закрытом контуре, где данные нельзя отправлять во внешний API.
Статья по теме
Главы
Ещё доклады: Paige Bailey
Все 4 доклада →Veo 3 для разработчиков
AI Engineer World's Fair 2025
Битва за frontier AI
Paige Bailey, Barr Yaron, Colin Flaherty, Shrestha Basu Mallick, John, Mihir, Petra, Steven, Tina
AI Engineer Summit 2025
Создание и запуск приложений на базе ИИ
Paige Bailey, Ian Ballantyne, Guillaume Vernade
AI Engineer Europe 2026
Похожие доклады
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Близко по содержанию
TLMs: компактные LLM и агенты на edge-устройствах с LiteRT-LM
AI Engineer Europe 2026
Близко по содержанию
Запуск Gemma 4 на iPhone: 40 токенов/с с MLX
AI Engineer Europe 2026
Близко по содержанию

