Pankaj Gupta — соучредитель Baseten, компании, которая предоставляет инфраструктуру для inference моделей машинного обучения. До этого он работал инженером-программистом в Uber. Вместе с командой он помогал разрабатывать Truss, open source фреймворк для развёртывания моделей, и публиковал разборы производительности inference на NVIDIA H100 и GH200, FP8-квантизации и speculative decoding. На AI Engineer World's Fair 2024 он вёл практический workshop по TensorRT-LLM, где рассказывал о переходе от весов модели к API, квантизации и измерении time to first token.

Темы докладов: Инференс, стоимость, открытые модели и Инфраструктура и надёжность.

AI Engineer World's Fair 20241