← Каталог

· AI Engineer World's Fair 2024

Запуск Covalent: чит-код для GPU — fine-tune 20 моделей Llama за 5 минут

Covalent Launch: The GPU Cheatcode: Fine-tune 20 Llama Models in 5 Minutes

Fine-tuning, оценку и деплой модели можно описать обычным Python-кодом с декораторами, без Docker и Kubernetes, с оплатой только за время работы GPU.

  • Декоратор вместо инфраструктуры — функция с декоратором задаёт GPU, память и лимит времени; код уходит на удалённые вычислительные ресурсы, а результат возвращается Python-объектом в ноутбук.
  • Оплата за фактическое время — по словам спикера, оценка одной модели заняла шесть минут и стоила 87 центов, а другая, на V100, за шесть минут обошлась в 11 центов.
  • Разное железо для разных этапов — обучение идёт на H100, а сортировка моделей и выбор лучшей выполняются на CPU, чтобы не тратить GPU впустую.
  • Эндпоинт без Kubernetes — cc.deploy разворачивает inference-сервис, который масштабируется до нуля, по расписанию, по загрузке GPU или числу запросов; правила масштабирования задаются в Python.

Кому полезно: тем, кто запускает fine-tuning и деплой моделей без своего кластера и хочет оценить стоимость запусков. Доклад в основном презентация продукта Covalent, но схема разбиения workflow на этапы с разным железом переносится и на другие инструменты.

Статья по теме

Главы

Похожие доклады