← Каталог

· AI Engineer World's Fair 2024

Как устроены большие языковые модели Mistral AI

Decoding Mistral AI's Large Language Models

Открытые модели Mistral дополняют коммерческие: они приводят пользователей к платным версиям, а после fine-tuning маленькая модель, по словам спикера, обходит коммерческую на узкой задаче.

  • Fine-tuning под задачу — прототип строят на самой сильной модели, затем берут открытую, например Mistral 7B или 8x7B, и дообучают на своих данных; по словам спикера, при большом объёме запросов это улучшает соотношение качества и стоимости.
  • Mixture of experts — в 8x7B много параметров, но для каждого токена работает лишь небольшая их часть, поэтому инференс дешевле; 8x22B добавила более длинный контекст и поддержку нескольких языков.
  • Этапы обучения — pre-training на триллионах токенов предсказывает следующий токен; instruction tuning на сотнях тысяч пар промпт-ответ с маскированием промпта требует сотни GPU на часы или дни; RLHF и DPO используют пары «какой ответ лучше», которые размечать проще, чем писать ответы с нуля.
  • Codestral 22B — плотная трансформерная модель для кода с fill-in-the-middle, которая работает с более чем 80 языками программирования; по словам авторов, она обгоняет Code Llama 70B, DeepSeek Coder 33B и Llama 3 70B при меньшем размере.

Кому полезно: тем, кто выбирает между коммерческими API и self-hosted открытыми моделями для продакшена.

Статья по теме

Главы

Похожие доклады