Ключевой доклад: опыт разработки AI-приложений может быть лучше — почему и как мы создали Modal
Keynote: The AI developer experience doesn't have to suck – why and how we built Modal
Быстрый старт контейнеров в облаке, по словам автора, делает запуск Python-кода на GPU почти таким же быстрым, как локальная разработка.
- Хранилище образов по содержимому — образы хранятся как метаданные, которые ссылаются на блоки с хешами, поэтому одинаковые файлы не передаются повторно. По словам спикера, три разных образа оказались почти полностью из одних и тех же файлов, а похожий подход используется в AWS Lambda.
- Ленивая загрузка и предзагрузка — холодный старт Python упирается в тысячи последовательных обращений к модулям, поэтому файлы подгружаются по трассировке прошлых запусков. Авторы стремятся опустить старт ниже секунды.
- Снимки памяти — gVisor позволяет восстанавливать состояние CPU и RAM контейнера вместо загрузки данных с нуля. По словам спикера, Stable Diffusion с весами в 5–10 ГБ запускается за пару секунд, а снимки GPU пока в разработке.
- Экономика serverless — пул из тысяч GPU у нескольких облачных провайдеров позволяет объединять нагрузку разных клиентов, а минимизацию расходов команда решает как задачу смешанного целочисленного программирования.
Кому полезно: тем, кто выводит GPU-инференс или batch-задачи в serverless и упирается в холодный старт. Учтите, что доклад в основном презентация продукта Modal.
Главы
Похожие доклады
Развертывание LLM-эндпоинта менее чем за 5 минут
AI Engineer Europe 2026
Близко по содержанию
Что скрывается за API
AI Engineer Europe 2026
Близко по содержанию
Развёртывание GPU в облаке, не выходя из IDE
AI Engineer Europe 2026
Близко по содержанию
Почему AI-стартапы исчезнут без рынков вычислительных мощностей
Близко по содержанию