· AI Engineer World's Fair 2024
Как устроены большие языковые модели Mistral AI
Decoding Mistral AI's Large Language Models
Открытые модели Mistral дополняют коммерческие: они приводят пользователей к платным версиям, а после fine-tuning маленькая модель, по словам спикера, обходит коммерческую на узкой задаче.
- Fine-tuning под задачу — прототип строят на самой сильной модели, затем берут открытую, например Mistral 7B или 8x7B, и дообучают на своих данных; по словам спикера, при большом объёме запросов это улучшает соотношение качества и стоимости.
- Mixture of experts — в 8x7B много параметров, но для каждого токена работает лишь небольшая их часть, поэтому инференс дешевле; 8x22B добавила более длинный контекст и поддержку нескольких языков.
- Этапы обучения — pre-training на триллионах токенов предсказывает следующий токен; instruction tuning на сотнях тысяч пар промпт-ответ с маскированием промпта требует сотни GPU на часы или дни; RLHF и DPO используют пары «какой ответ лучше», которые размечать проще, чем писать ответы с нуля.
- Codestral 22B — плотная трансформерная модель для кода с fill-in-the-middle, которая работает с более чем 80 языками программирования; по словам авторов, она обгоняет Code Llama 70B, DeepSeek Coder 33B и Llama 3 70B при меньшем размере.
Кому полезно: тем, кто выбирает между коммерческими API и self-hosted открытыми моделями для продакшена.
Статья по теме
Главы
Похожие доклады
Обучение Albatross: экспертной языковой модели для финансов
AI Engineer World's Fair 2024
Близко по содержанию
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию
Адаптация и fine-tuning LLM для специализированных областей
AI Engineer Summit 2023
Близко по содержанию


