← Каталог

AI Engineer World's Fair 2026

От исследований к реальности вместе с Google DeepMind

Research to Reality with Google DeepMind — Paige Bailey, Google DeepMind

Открытые модели Gemma 4 от 2B до 31B параметров, по словам спикера, работают локально на одном GPU, ноутбуке и телефоне, не отправляя данные наружу.

  • MoE и dense варианты — 26B построена как MoE, 31B как dense; по словам спикера, обе показывают качество, которое выше ожидаемого для их размера, поэтому распределённый инференс обычно не нужен.
  • QAT-чекпоинты — квантованная версия 2B, по словам спикера, весит меньше гигабайта и помещается на мобильное устройство. Модели распространяются под Apache 2, их можно дообучать (fine-tuning) и встраивать в продукты компании.
  • Function calling на телефоне — Google AI Edge Gallery для Android и iOS запускает вызов инструментов на локально установленной модели: погода и запись в календарь работают без внешнего API. Ускоритель устройства используется вместо CPU.
  • Инференс в браузере — модель загружается через WebAssembly и Transformers.js и работает на машине пользователя. Демо подтверждает, что без вызова API запрос никуда не уходит.

Кому полезно: тем, кто запускает LLM на клиентских устройствах или в закрытом контуре, где данные нельзя отправлять во внешний API.

Статья по теме

Главы

Ещё доклады: Paige Bailey

Все 4 доклада →

Похожие доклады