· AI Engineer World's Fair 2024
Всё, что нужно знать о fine-tuning и объединении LLM
Everything you need to know about Finetuning and Merging LLMs
Дообучение открытых моделей оправдано, когда промптов и evals уже не хватает, а слияние весов даёт сильные модели без GPU.
- Порог для fine-tuning — сначала стоит добиться результата промптами и оценкой по нескольким метрикам. Если собрать датасет пар «вопрос — ответ» не получается, спикер советует пересмотреть объём проекта.
- Качество SFT-датасета — примеры должны быть точными, разнообразными и сложными, например с chain-of-thought. Спикер рекомендует начинать с открытых датасетов, убирать дубликаты и фильтровать их правилами, reward model или LLM-as-a-judge.
- QLoRA и learning rate — квантование базовой модели до 4 бит снижает потребление VRAM, но ухудшает качество, поэтому это компромисс. Learning rate, по совету спикера, стоит поднимать, пока loss не начнёт взрываться.
- Слияние весов — DARE удобен для слияния семи-восьми моделей сразу, SLERP для двух. По словам спикера, в топ-10 первой версии Open LLM Leaderboard для моделей на 7B были одни merge, а основная библиотека здесь MergeKit.
Кому полезно: тем, кто решает, нужно ли дообучать открытую модель, и тем, кто хочет собрать модель слиянием без GPU.
Статья по теме
Главы
Ещё доклады: Maxime Labonne
Страница спикера →Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Похожие доклады
Подготовка данных и сред для постобучения LLM
AI Engineer World's Fair 2026
Близко по содержанию
Ваша fine-tuned модель — техдолг: карточный домик с ROI 50×
AI Engineer World's Fair 2026
Близко по содержанию
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию

