← Каталог

· AI Engineer Summit 2023

Создавая ИИ для всех

Building AI For All

Код-модель на 3,3 млрд параметров, обученная с нуля на отфильтрованных данных, по словам авторов, почти догоняет вдвое большую Code Llama 7B.

  • Качество данных важнее объёма — пайплайн на Spark отсеивает сгенерированный, минифицированный и неразбираемый код, а отобранное подмножество повторяется несколько эпох. По статье Scaling Data-Constrained Language Models, на которую опираются авторы, кривая потерь после 4–5 повторов близка к обучению на новых данных.
  • Обучение дольше ради инференса — Replit Code v1.5 учили примерно по 300 токенов на параметр, в логике Chinchilla: больше вычислений на обучение, меньше задержка при инференсе. По словам авторов, одна модель без батчинга выдаёт свыше 200 токенов в секунду.
  • HumanEval Pass@1 36% — результат модели на 3,3 млрд параметров. Спикер отмечает, что PaLM-Coder, примерно в 200 раз крупнее, дал тот же показатель.
  • Деплой за две минуты — инфраструктуру развёртывания сократили с 18 до 2 минут, что важно при резких скачках нагрузки. Веса модели выложены в открытый доступ под коммерчески разрешительной лицензией.

Кому полезно: тем, кто обучает небольшие код-модели на собственных данных или разворачивает их на своей инфраструктуре с жёсткими требованиями к задержке.

Статья по теме

Главы

Ещё доклады: Michele Catasta

Страница спикера →

Похожие доклады