· AI Engineer World's Fair 2024
Обучение Albatross: экспертной языковой модели для финансов
Training Albatross: An Expert Finance LLM
Дообучение Llama 2 на финансовых данных и расширение контекста до миллиона токенов, по словам авторов Gradient, снижают галлюцинации надёжнее, чем RAG.
- Отбор данных через membership inference — документы, которые базовая модель уже видела, отсекаются по вероятности, а в ручную проверку уходит намного меньший набор; затем данные дополняются синтетикой.
- Pre-training плюс alignment — continued pre-training на корпусе даёт знания, а supervised fine-tuning и preference optimization учат модель ими пользоваться. Спикер сравнивает это с чтением учебников и сдачей экзамена.
- Длинный контекст вместо RAG — по словам спикера, тысячи примеров в промпте дают точность, нужную для продакшена, а RAG плохо справляется, когда фрагменты связаны между собой.
- Результаты на длинном контексте — модель на базе Llama 3 с окном 1 млн токенов, по словам спикера, набрала 100% на тесте поиска иголки в стоге сена и заметно обошла базовую модель на RULER от NVIDIA. Веса открыты на Hugging Face.
Кому полезно: тем, кто строит ассистентов для финансовой предметной области и решает, что выбрать: RAG-пайплайн или дообучение с длинным контекстом.
Статья по теме
Главы
Похожие доклады
Адаптация и fine-tuning LLM для специализированных областей
AI Engineer Summit 2023
Близко по содержанию
Маленькие модели, большие результаты: обучение финансового агента менее чем за $500
AI Engineer World's Fair 2026
Близко по содержанию
2025 год в мире LLM на примере пеликанов на велосипедах
AI Engineer World's Fair 2025
Близко по содержанию
Масштабирование для задач с длинным горизонтом
AI Engineer World's Fair 2026
Близко по содержанию

