← Каталог

· AI Engineer Summit 2023

Адаптация и fine-tuning LLM для специализированных областей

Domain adaptation and fine-tuning for domain-specific LLMs

Прежде чем тюнить модель, стоит сравнить prompting, RAG и fine-tuning, а результат fine-tuning определяют очистка и дедупликация данных.

  • Adaptive или behavioral fine-tuning — adaptive подходит, когда нужно качество на нескольких задачах одного домена, например в юридической сфере, а behavioral оптимизирует модель под одну конкретную задачу.
  • LoRA вместо QLoRA — четырёхбитный QLoRA требует библиотеку bitsandbytes, работает не на всех устройствах и проверен на меньшем числе моделей, поэтому спикер советует пока оставаться на LoRA.
  • Дедупликация данных — по словам спикера, повторы в датасете повышают вероятность запоминания моделью, поэтому очистку и дедупликацию данных он ставит в один ряд с выбором базовой модели.
  • Оценка с четырёх сторон — метрики вроде BLEU и ROUGE, инструментальная проверка, оценка меньшей моделью и human-in-the-loop, потому что loss, accuracy и perplexity картину не покрывают.

Кому полезно: тем, кто адаптирует открытую модель под узкую предметную область и выбирает между LoRA и QLoRA или между fine-tuning и RAG.

Статья по теме

На какие вопросы отвечает доклад

  • Когда дообучать модель выгоднее, чем использовать prompting или RAG?

    Prompting дешевле, но уступает fine-tuning по качеству и подходит больше для демо. Методы можно комбинировать: адаптивное дообучение для нескольких задач в одном домене, поведенческое для одной задачи.

    ▶ 13:57Работа с промптами, адаптивное и поведенческое fine-tuning
  • Чем LoRA отличается от QLoRA и что выбрать для дообучения большой модели?

    LoRA сокращает матрицы весов, оставляя линейно независимые части. QLoRA переводит веса в четырёхбитную точность, но требует библиотеку bitsandbytes и на разных моделях тестировалась мало. Спикер советует пока оставаться на LoRA.

    ▶ 12:11QLoRA, четырёхбитная квантовка и компромиссы bitsandbytes
  • Почему дообученная модель запоминает и выдаёт обучающие примеры?

    По словам спикера, запоминание в основном вызвано дубликатами в данных: повторы повышают вероятность, что модель выдаст эти фрагменты. Помогают очистка данных и дедупликация.

    ▶ 13:57Работа с промптами, адаптивное и поведенческое fine-tuning
  • Стоит ли сравнивать дообученную модель с GPT-4 на сложных задачах?

    Спикер советует не сравнивать: на сложных задачах дообученная модель не справится с GPT-4, потому что она не универсальна и хуже работает с новыми данными и доменами.

    ▶ 13:57Работа с промптами, адаптивное и поведенческое fine-tuning
  • Как снизить потребление памяти при дообучении LLM ценой дополнительных вычислений?

    Gradient checkpointing пересчитывает веса при обратном проходе. Вычислений становится больше, но потребление памяти заметно падает, и спикер считает этот компромисс выгодным.

    ▶ 19:02Gradient checkpointing и оптимизация памяти
  • Как оценивать дообученную модель, если loss и perplexity не показывают качество?

    Спикер предлагает четыре вида оценки: метрики вроде BLEU и ROUGE, инструменты проверки (например, на ошибки компиляции), оценку другой, меньшей моделью и human-in-the-loop.

    ▶ 19:02Gradient checkpointing и оптимизация памяти

Главы

Похожие доклады