← Каталог

· AI Engineer World's Fair 2024

Всё, что нужно знать о fine-tuning и объединении LLM

Everything you need to know about Finetuning and Merging LLMs

Дообучение открытых моделей оправдано, когда промптов и evals уже не хватает, а слияние весов даёт сильные модели без GPU.

  • Порог для fine-tuning — сначала стоит добиться результата промптами и оценкой по нескольким метрикам. Если собрать датасет пар «вопрос — ответ» не получается, спикер советует пересмотреть объём проекта.
  • Качество SFT-датасета — примеры должны быть точными, разнообразными и сложными, например с chain-of-thought. Спикер рекомендует начинать с открытых датасетов, убирать дубликаты и фильтровать их правилами, reward model или LLM-as-a-judge.
  • QLoRA и learning rate — квантование базовой модели до 4 бит снижает потребление VRAM, но ухудшает качество, поэтому это компромисс. Learning rate, по совету спикера, стоит поднимать, пока loss не начнёт взрываться.
  • Слияние весов — DARE удобен для слияния семи-восьми моделей сразу, SLERP для двух. По словам спикера, в топ-10 первой версии Open LLM Leaderboard для моделей на 7B были одни merge, а основная библиотека здесь MergeKit.

Кому полезно: тем, кто решает, нужно ли дообучать открытую модель, и тем, кто хочет собрать модель слиянием без GPU.

Статья по теме

Главы

Ещё доклады: Maxime Labonne

Страница спикера →

Похожие доклады