Lu Zhang — инфраструктурный инженер в OpenAI, он работает над GPU-кластерами и платформами inference для больших моделей. Он участвовал в вычислительной части inference для GPT-4o, что отмечено в системной карточке модели за 2024 год. До работы над обслуживанием моделей он строил и эксплуатировал GPU-кластеры для ML-нагрузок.

В докладе с Qianru Lao он поднимает темы маршрутизации inference-запросов по сигналам движков, повторного использования KV cache между репликами и ограничения нагрузки при перегрузке.

Темы докладов: Инфраструктура и надёжность и Инференс, стоимость, открытые модели.

Другое1