· AI Engineer World's Fair 2024
Исправляем ошибки в Gemma, Llama и Phi-3
Fixing bugs in Gemma, Llama & Phi-3
Большинство провалов дообучения Llama 3 связано со служебными токенами и чат-шаблонами, и их можно проверить до запуска обучения.
- Двойной BOS-токен — если чат-шаблон уже добавляет BOS, а
apply_chat_templateдобавляет его ещё раз, модель обучается на одном формате, а инференс идёт на другом, и точность падает. Unsloth проверяет это и удаляет лишний токен автоматически. - Base вместо instruct — в base-версии часть токенов не обучалась, и instruct-шаблон на base-модели приводит к NaN в градиентах. По словам спикера, помогает заполнить такие токены средним по обученным, исключив необученные из усреднения, либо обучать
lm_headиembed_tokensс learning rate в 5–10 раз меньше. - Одинаковые pad и EOS — EOS маскируется в функции потерь, и модель начинает генерировать бесконечно. По словам спикера, у Phi-3 эти токены совпадают.
- Настройки LoRA — обучать все линейные слои (QKVO, gate, up, down), брать alpha равной двум рангам, ранг 16–128. Выгрузка gradient checkpointing в оперативную память, а не на диск, по словам автора, даёт в четыре раза более длинный контекст при замедлении на 1–2%.
Кому полезно: тем, кто дообучает open-модели Llama 3 на своих данных и выводит их в Ollama.
Доклад цитируется в статьях
Главы
Ещё доклады: Daniel Han
Все 4 доклада →Технические основы LLM на низком уровне
AI Engineer World's Fair 2024
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Похожие доклады
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Близко по содержанию
Всё, что нужно знать о fine-tuning и объединении LLM
AI Engineer World's Fair 2024
Близко по содержанию

