· AI Engineer World's Fair 2026
AI-приложения за считаные минуты: деплой на GPU без Docker
AI Apps in a Flash: Ship to GPUs Without Docker — Dean Quiñanola, Runpod
Runpod Flash позволяет запускать Python-код на облачных GPU без Dockerfile и сборки образов, и это заметно ускоряет итерации.
- Разработка без контейнеров —
flash devподнимает локальный FastAPI-интерфейс, функции выполняются на облачном GPU, а зависимости ставятся при запуске, без пересборки образа. По словам спикера, цикл правок с Docker иногда занимает около 15 минут. - Вызовы между эндпоинтами — функция на одном эндпоинте вызывает функцию на другом как обычную Python-функцию, без адресов и ручной обвязки. Сетевые тома сохраняют прогретый кэш при масштабировании serverless-эндпоинтов.
- Деплой одной командой —
flash deployупаковывает приложение и хостит его на серверах Runpod, после чего эндпоинт вызывается независимо от localhost. Поддерживаются эндпоинты с очередью и с балансировкой нагрузки, поды пока не поддерживаются. - Работоспособность не равна качеству — в демо генерация изображения прошла успешно, но на картинке не оказалось галстука-бабочки из промпта. Сервис отвечает, а соответствие запросу нужно проверять отдельно.
Кому полезно: тем, кто хочет гонять GPU-код из Python без своей инфраструктуры для контейнеров. Доклад в основном презентация продукта Runpod, но инженерная часть полезна и без него.
Главы
Похожие доклады
GPU вышел из строя. Обучение продолжилось: самовосстановление на масштабе
Connor Guerrero, Nikhil Gupta, Young Jeong
AI Engineer Code 2025
Близко по содержанию
Генеративное видео со скоростью света
AI Engineer World's Fair 2026
Близко по содержанию
Нулевые холодные старты: бессерверные AI agents на Akamai Functions
Близко по содержанию
Развертывание LLM-эндпоинта менее чем за 5 минут
AI Engineer Europe 2026
Близко по содержанию
