← Каталог

· AI Engineer World's Fair 2024

Обучение Albatross: экспертной языковой модели для финансов

Training Albatross: An Expert Finance LLM

Дообучение Llama 2 на финансовых данных и расширение контекста до миллиона токенов, по словам авторов Gradient, снижают галлюцинации надёжнее, чем RAG.

  • Отбор данных через membership inference — документы, которые базовая модель уже видела, отсекаются по вероятности, а в ручную проверку уходит намного меньший набор; затем данные дополняются синтетикой.
  • Pre-training плюс alignment — continued pre-training на корпусе даёт знания, а supervised fine-tuning и preference optimization учат модель ими пользоваться. Спикер сравнивает это с чтением учебников и сдачей экзамена.
  • Длинный контекст вместо RAG — по словам спикера, тысячи примеров в промпте дают точность, нужную для продакшена, а RAG плохо справляется, когда фрагменты связаны между собой.
  • Результаты на длинном контексте — модель на базе Llama 3 с окном 1 млн токенов, по словам спикера, набрала 100% на тесте поиска иголки в стоге сена и заметно обошла базовую модель на RULER от NVIDIA. Веса открыты на Hugging Face.

Кому полезно: тем, кто строит ассистентов для финансовой предметной области и решает, что выбрать: RAG-пайплайн или дообучение с длинным контекстом.

Статья по теме

Главы

Похожие доклады