Sitanshu Gupta — директор по инженерии сервисов инференса в CoreWeave, где он занимается обслуживанием AI моделей под производственной нагрузкой. Он один из семи соавторов патента SambaNova о управлении потоком данных в reconfigurable processors. В статьях о Kimi K3 и GLM 5.2 он разбирает, как устроена работа CoreWeave поверх vLLM и NVIDIA Dynamo: маршрутизация запросов с учётом KV cache, разделение prefill и decode, размещение реплик по NVLink.

В докладе на AI Engineer World's Fair 2026 он говорит о переходе инференса от прототипа к нагрузкам на триллион параметров.

Темы докладов: Инфраструктура и надёжность и Инференс, стоимость, открытые модели.

AI Engineer World's Fair 20261