← Каталог

· AI Engineer World's Fair 2024

Исправляем ошибки в Gemma, Llama и Phi-3

Fixing bugs in Gemma, Llama & Phi-3

Большинство провалов дообучения Llama 3 связано со служебными токенами и чат-шаблонами, и их можно проверить до запуска обучения.

  • Двойной BOS-токен — если чат-шаблон уже добавляет BOS, а apply_chat_template добавляет его ещё раз, модель обучается на одном формате, а инференс идёт на другом, и точность падает. Unsloth проверяет это и удаляет лишний токен автоматически.
  • Base вместо instruct — в base-версии часть токенов не обучалась, и instruct-шаблон на base-модели приводит к NaN в градиентах. По словам спикера, помогает заполнить такие токены средним по обученным, исключив необученные из усреднения, либо обучать lm_head и embed_tokens с learning rate в 5–10 раз меньше.
  • Одинаковые pad и EOS — EOS маскируется в функции потерь, и модель начинает генерировать бесконечно. По словам спикера, у Phi-3 эти токены совпадают.
  • Настройки LoRA — обучать все линейные слои (QKVO, gate, up, down), брать alpha равной двум рангам, ранг 16–128. Выгрузка gradient checkpointing в оперативную память, а не на диск, по словам автора, даёт в четыре раза более длинный контекст при замедлении на 1–2%.

Кому полезно: тем, кто дообучает open-модели Llama 3 на своих данных и выводит их в Ollama.

Доклад цитируется в статьях

Главы

Ещё доклады: Daniel Han

Все 4 доклада →

Похожие доклады