Pankaj Gupta — соучредитель Baseten, компании, которая предоставляет инфраструктуру для inference моделей машинного обучения. До этого он работал инженером-программистом в Uber. Вместе с командой он помогал разрабатывать Truss, open source фреймворк для развёртывания моделей, и публиковал разборы производительности inference на NVIDIA H100 и GH200, FP8-квантизации и speculative decoding. На AI Engineer World's Fair 2024 он вёл практический workshop по TensorRT-LLM, где рассказывал о переходе от весов модели к API, квантизации и измерении time to first token.
Темы докладов: Инференс, стоимость, открытые модели и Инфраструктура и надёжность.
AI Engineer World's Fair 20241
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024