← Каталог

· AI Engineer World's Fair 2024

Новые достижения в развитии моделей Gemma

Unveiling the latest Gemma model advancements

Gemma 2 в версиях 9B и 27B, по словам спикера, опережает модели вдвое-втрое крупнее и легко дообучается под свои задачи.

  • Качество на своём размере — по бенчмаркам 27B, по словам спикера, близка к Llama 3 70B, а по человеческим оценкам считается первой открытой моделью своего размера.
  • Миграция без переписывания кода — Gemma 2 использует те же инструменты и фреймворки, что и Gemma 1, поэтому переход, по словам автора, занимает пару строк кода.
  • Дообучение как цель — команда изучала, как базовые архитектурные решения влияют на fine-tuning, а документация сразу покрывает inference и дообучение с руководствами и Colab-ноутбуками.
  • Специализированные варианты — RecurrentGemma построена на state space model и рассчитана на более быстрый inference при длинном контексте, а PaliGemma объединяет энкодер SigLIP и декодер Gemma 1.0 для задач с изображениями и текстом, включая captioning и object detection.

Кому полезно: тем, кто выбирает открытую модель для дообучения или запуска на собственном железе и локальных устройствах.

Статья по теме

Главы

Похожие доклады