Yineng Zhang — senior director of inference в Together AI и core мейнтейнер open source фреймворка SGLang. Он также соавтор TokenSpeed, движка для инференса, созданного совместно с контрибьюторами из Together AI, NVIDIA, AMD и других организаций, и входит в совет директоров LightSeek Foundation. Ранее он оптимизировал модели ранжирования и инференс языковых моделей в Meituan, работал с Lianmin Zheng над SGLang и участвовал в развёртывании новых открытых моделей в Baseten, включая Qwen 3.
Со-авторство FlashInfer и Mooncake связывает его работу над отдельными ядрами GPU с распределённой архитектурой инференса. В докладе на AI Engineer World's Fair 2025 он рассказывает о запуске языковых моделей на SGLang.
Темы докладов: Инференс, стоимость, открытые модели, Инфраструктура и надёжность и Evals и бенчмарки.
AI Engineer World's Fair 20251
Введение в serving LLM с SGLang
AI Engineer World's Fair 2025