← Каталог

· AI Engineer Europe 2026

Подробный разбор Gemma 4

Gemma 4 Deep Dive — Cassidy Hardin, Google DeepMind

Малые модели Gemma 4 держат качество, по словам автора, благодаря чередованию внимания, хранению Per Layer Embeddings во flash-памяти и гибкому бюджету токенов на изображения.

  • Чередование внимания — локальные слои с окном в 512 токенов для малых моделей и 1024 для больших чередуются с глобальными в пропорции пять к одному (у E2B четыре к одному), а последний слой всегда глобальный. Глобальные слои используют grouped-query attention: восемь запросов делят одну key/value голову, размер которой удвоен до 512.
  • Per Layer Embeddings во flash-памяти — таблица эмбеддингов для каждого слоя хранится не в VRAM, а во flash, и её размерность всего 256. По словам автора, это снижает нагрузку на память телефонов и ноутбуков, и модели E2B и E4B работают локально без обращения к внешним API.
  • Бюджет токенов на изображение — разработчик выбирает одно из пяти разрешений: для OCR и распознавания объектов нужны бюджеты 560 и 1120, для текстовых задач хватает меньшего. Изображение обрабатывается с учётом исходного соотношения сторон, без нарезки на квадраты, как в Gemma 3.
  • Лицензия и запуск — модели выпущены под Apache 2.0, веса доступны на Hugging Face, Kaggle и Ollama, а 31B и 26B можно попробовать через AI Studio и Vertex.

Кому полезно: тем, кто выбирает открытую модель для запуска на телефонах или ноутбуках либо для агентных сценариев с function calling.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады