Chris Vela работает forward deployed engineer в Runpod и пишет о запуске языковых моделей на GPU: настройке vLLM, загрузке весов и времени до первого ответа. Он автор руководства по сокращению холодного старта vLLM в Runpod Serverless и руководства по развёртыванию Qwen3.8-Flash-Next на четырёх H200, которое написал вместе с Matt Sarrel и Jessica Garson Beauchemin. Ранее был principal data scientist в IKIN, где работал над Diffusion-Based Compression, методом передачи видео с восстановлением на приёмной стороне с помощью диффузионной модели. В докладе он рассказывает о подборе конфигурации vLLM через бенчмарки под конкретную нагрузку.

Темы докладов: Инференс, стоимость, открытые модели и Инфраструктура и надёжность.

Другое1