Адаптация и fine-tuning LLM для специализированных областей
Domain adaptation and fine-tuning for domain-specific LLMs
Прежде чем тюнить модель, стоит сравнить prompting, RAG и fine-tuning, а результат fine-tuning определяют очистка и дедупликация данных.
- Adaptive или behavioral fine-tuning — adaptive подходит, когда нужно качество на нескольких задачах одного домена, например в юридической сфере, а behavioral оптимизирует модель под одну конкретную задачу.
- LoRA вместо QLoRA — четырёхбитный QLoRA требует библиотеку
bitsandbytes, работает не на всех устройствах и проверен на меньшем числе моделей, поэтому спикер советует пока оставаться на LoRA. - Дедупликация данных — по словам спикера, повторы в датасете повышают вероятность запоминания моделью, поэтому очистку и дедупликацию данных он ставит в один ряд с выбором базовой модели.
- Оценка с четырёх сторон — метрики вроде BLEU и ROUGE, инструментальная проверка, оценка меньшей моделью и human-in-the-loop, потому что loss, accuracy и perplexity картину не покрывают.
Кому полезно: тем, кто адаптирует открытую модель под узкую предметную область и выбирает между LoRA и QLoRA или между fine-tuning и RAG.
Статья по теме
На какие вопросы отвечает доклад
Когда дообучать модель выгоднее, чем использовать prompting или RAG?
Prompting дешевле, но уступает fine-tuning по качеству и подходит больше для демо. Методы можно комбинировать: адаптивное дообучение для нескольких задач в одном домене, поведенческое для одной задачи.
▶ 13:57Работа с промптами, адаптивное и поведенческое fine-tuningЧем LoRA отличается от QLoRA и что выбрать для дообучения большой модели?
LoRA сокращает матрицы весов, оставляя линейно независимые части. QLoRA переводит веса в четырёхбитную точность, но требует библиотеку bitsandbytes и на разных моделях тестировалась мало. Спикер советует пока оставаться на LoRA.
▶ 12:11QLoRA, четырёхбитная квантовка и компромиссы bitsandbytesПочему дообученная модель запоминает и выдаёт обучающие примеры?
По словам спикера, запоминание в основном вызвано дубликатами в данных: повторы повышают вероятность, что модель выдаст эти фрагменты. Помогают очистка данных и дедупликация.
▶ 13:57Работа с промптами, адаптивное и поведенческое fine-tuningСтоит ли сравнивать дообученную модель с GPT-4 на сложных задачах?
Спикер советует не сравнивать: на сложных задачах дообученная модель не справится с GPT-4, потому что она не универсальна и хуже работает с новыми данными и доменами.
▶ 13:57Работа с промптами, адаптивное и поведенческое fine-tuningКак снизить потребление памяти при дообучении LLM ценой дополнительных вычислений?
Gradient checkpointing пересчитывает веса при обратном проходе. Вычислений становится больше, но потребление памяти заметно падает, и спикер считает этот компромисс выгодным.
▶ 19:02Gradient checkpointing и оптимизация памятиКак оценивать дообученную модель, если loss и perplexity не показывают качество?
Спикер предлагает четыре вида оценки: метрики вроде BLEU и ROUGE, инструменты проверки (например, на ошибки компиляции), оценку другой, меньшей моделью и human-in-the-loop.
▶ 19:02Gradient checkpointing и оптимизация памяти
Главы
Похожие доклады
Прокачка модели: RFT, DPO, SFT (fine-tuning с OpenAI)
AI Engineer World's Fair 2025
Близко по содержанию
Запускаем LLM локально
AI Engineer Summit 2023
Близко по содержанию
Масштабирование reinforcement learning между дата-центрами
AI Engineer World's Fair 2026
Близко по содержанию
Масштабирование непрерывного обучения
AI Engineer World's Fair 2026
Близко по содержанию

