· AI Engineer World's Fair 2024
Запуск Covalent: чит-код для GPU — fine-tune 20 моделей Llama за 5 минут
Covalent Launch: The GPU Cheatcode: Fine-tune 20 Llama Models in 5 Minutes
Fine-tuning, оценку и деплой модели можно описать обычным Python-кодом с декораторами, без Docker и Kubernetes, с оплатой только за время работы GPU.
- Декоратор вместо инфраструктуры — функция с декоратором задаёт GPU, память и лимит времени; код уходит на удалённые вычислительные ресурсы, а результат возвращается Python-объектом в ноутбук.
- Оплата за фактическое время — по словам спикера, оценка одной модели заняла шесть минут и стоила 87 центов, а другая, на V100, за шесть минут обошлась в 11 центов.
- Разное железо для разных этапов — обучение идёт на H100, а сортировка моделей и выбор лучшей выполняются на CPU, чтобы не тратить GPU впустую.
- Эндпоинт без Kubernetes —
cc.deployразворачивает inference-сервис, который масштабируется до нуля, по расписанию, по загрузке GPU или числу запросов; правила масштабирования задаются в Python.
Кому полезно: тем, кто запускает fine-tuning и деплой моделей без своего кластера и хочет оценить стоимость запусков. Доклад в основном презентация продукта Covalent, но схема разбиения workflow на этапы с разным железом переносится и на другие инструменты.
Статья по теме
Главы
Похожие доклады
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию
Почему нам не нужно больше дата-центров
AI Engineer World's Fair 2025
Близко по содержанию
От 15% до 90% загрузки GPU: исправьте конвейер данных, а не модель
AI Engineer World's Fair 2026
Близко по содержанию
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию

