Lu Zhang — инфраструктурный инженер в OpenAI, он работает над GPU-кластерами и платформами inference для больших моделей. Он участвовал в вычислительной части inference для GPT-4o, что отмечено в системной карточке модели за 2024 год. До работы над обслуживанием моделей он строил и эксплуатировал GPU-кластеры для ML-нагрузок.
В докладе с Qianru Lao он поднимает темы маршрутизации inference-запросов по сигналам движков, повторного использования KV cache между репликами и ограничения нагрузки при перегрузке.
Темы докладов: Инфраструктура и надёжность и Инференс, стоимость, открытые модели.