Подробный разбор Gemma 4
Gemma 4 Deep Dive — Cassidy Hardin, Google DeepMind
Малые модели Gemma 4 держат качество, по словам автора, благодаря чередованию внимания, хранению Per Layer Embeddings во flash-памяти и гибкому бюджету токенов на изображения.
- Чередование внимания — локальные слои с окном в 512 токенов для малых моделей и 1024 для больших чередуются с глобальными в пропорции пять к одному (у E2B четыре к одному), а последний слой всегда глобальный. Глобальные слои используют grouped-query attention: восемь запросов делят одну key/value голову, размер которой удвоен до 512.
- Per Layer Embeddings во flash-памяти — таблица эмбеддингов для каждого слоя хранится не в VRAM, а во flash, и её размерность всего 256. По словам автора, это снижает нагрузку на память телефонов и ноутбуков, и модели E2B и E4B работают локально без обращения к внешним API.
- Бюджет токенов на изображение — разработчик выбирает одно из пяти разрешений: для OCR и распознавания объектов нужны бюджеты 560 и 1120, для текстовых задач хватает меньшего. Изображение обрабатывается с учётом исходного соотношения сторон, без нарезки на квадраты, как в Gemma 3.
- Лицензия и запуск — модели выпущены под Apache 2.0, веса доступны на Hugging Face, Kaggle и Ollama, а 31B и 26B можно попробовать через AI Studio и Vertex.
Кому полезно: тем, кто выбирает открытую модель для запуска на телефонах или ноутбуках либо для агентных сценариев с function calling.
Статья по теме
На какие вопросы отвечает доклад
Как уменьшить нагрузку на VRAM при запуске модели на телефоне или ноутбуке?
Таблицы per-layer embeddings хранятся во флеш-памяти, а не в VRAM. Их размерность 256, на каждом слое токен получает свой эмбеддинг, который затем проецируется до полного размера модели.
▶ 8:17Эмбеддинги на каждом слое и эффективность использования памяти на устройствеПочему длинный контекст съедает память при инференсе и как это уменьшить?
Глобальные слои видят все токены, поэтому Gemma 4 чередует локальные слои с окном 512 или 1024 токена и глобальные в соотношении пять к одному. В глобальных слоях восемь запросов делят одну пару ключ-значение.
▶ 4:38Локально-глобальное внимание и внимание с группировкой запросовКак выбрать бюджет токенов на изображение для OCR и распознавания объектов?
Разрешение и бюджет мягких токенов выбираются из пяти вариантов. Спикер советует для OCR и детекции объектов высокие бюджеты 560 и 1120, а для чисто текстовых задач можно взять меньший.
▶ 13:28Зрение с переменным разрешением и распределение токенов изображенийКак подать аудио небольшой модели для распознавания речи и перевода на устройстве?
Аудио переводится в mel-спектрограмму, два свёрточных слоя сжимают её примерно в четыре раза, затем conformer на 305 млн параметров обрабатывает полученные эмбеддинги.
▶ 16:47Аудиокодировщик ConformerСколько параметров активируется при каждом проходе у MoE-модели на 26B?
Около 3,8 млрд параметров из 26B. Маршрутизатор выбирает восемь экспертов из 128, а один общий эксперт работает на каждом проходе.
▶ 0:15Введение, размеры моделей Gemma 4 и лицензия Apache 2.0
Главы
Похожие доклады
Создание и запуск приложений на базе ИИ
Paige Bailey, Ian Ballantyne, Guillaume Vernade
AI Engineer Europe 2026
Близко по содержанию
Moondream: как такая маленькая vision-модель так круто справляется?
AI Engineer World's Fair 2024
Близко по содержанию
Исследования speech-to-speech моделей в Google DeepMind
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию

