· AI Engineer World's Fair 2024
Новые достижения в развитии моделей Gemma
Unveiling the latest Gemma model advancements
Gemma 2 в версиях 9B и 27B, по словам спикера, опережает модели вдвое-втрое крупнее и легко дообучается под свои задачи.
- Качество на своём размере — по бенчмаркам 27B, по словам спикера, близка к Llama 3 70B, а по человеческим оценкам считается первой открытой моделью своего размера.
- Миграция без переписывания кода — Gemma 2 использует те же инструменты и фреймворки, что и Gemma 1, поэтому переход, по словам автора, занимает пару строк кода.
- Дообучение как цель — команда изучала, как базовые архитектурные решения влияют на fine-tuning, а документация сразу покрывает inference и дообучение с руководствами и Colab-ноутбуками.
- Специализированные варианты — RecurrentGemma построена на state space model и рассчитана на более быстрый inference при длинном контексте, а PaliGemma объединяет энкодер SigLIP и декодер Gemma 1.0 для задач с изображениями и текстом, включая captioning и object detection.
Кому полезно: тем, кто выбирает открытую модель для дообучения или запуска на собственном железе и локальных устройствах.
Статья по теме
Главы
Похожие доклады
Агент, ты меня слышишь? Создаём голосовых агентов в реальном времени с Gemini
AI Engineer World's Fair 2026
Близко по содержанию
Компиляторы в эпоху LLM
AI Engineer Code 2025
Близко по содержанию
Как устроен Magic Editor: генеративный ИИ в приложении с миллиардом пользователей
AI Engineer World's Fair 2025
Близко по содержанию
EMMA от Waymo: как научить автомобили мыслить
AI Engineer World's Fair 2025
Близко по содержанию

