· AI Engineer World's Fair 2025
Почему нам не нужно больше дата-центров
Why We Don’t Need More Data Centers
Агрегация простаивающих GPU разных провайдеров в один маркетплейс, по словам авторов, дешевле и быстрее, чем строить новые дата-центры.
- Простаивающие GPU — по данным Deloitte, которые приводит спикер, корпоративные GPU простаивают около 80% времени, а GPU-облаков на рынке более ста, поэтому мощности плохо находят потребителей.
- Распределённый оркестратор — Hyper-dOS ставится в кластер как Kubernetes-компонент и подключает его к сети; по словам спикера, на это уходит около пяти минут, а на ноутбуке можно поставить MicroK8s.
- Гибкая аренда — в примере стартапа на 1000 GPU возврат простаивающих мощностей и переаренда на короткие периоды, по расчётам авторов, снижают стоимость с 43,8 до 6,9 млн долларов, то есть примерно в шесть раз.
- Цена H100 — в бете собственного маркетплейса Hyperbolic H100 стоит 99 центов в час, при этом спикер называет около 11 долларов у Google; это цена продукта компании, а не независимая оценка.
Кому полезно: командам, которые закупают GPU для обучения и инференса и упираются в стоимость compute.
Статья по теме
Главы
Похожие доклады
Запуск Covalent: чит-код для GPU — fine-tune 20 моделей Llama за 5 минут
AI Engineer World's Fair 2024
Близко по содержанию
Геополитика инфраструктуры ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Как масштабировать Hugging Face Hub и обслуживать 2 миллиона моделей без перегрузок
AI Engineer World's Fair 2026
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию

