Mark Moyou — data scientist и архитектор решений в NVIDIA. Он специализируется на inference больших языковых моделей в production: работе GPU-памяти, нагрузках, задержках и стоимости. Начинал в компьютерном зрении и геометрическом машинном обучении, в 2017 году защитил докторскую диссертацию в Florida Institute of Technology. В 2025 году был соавтором статьи NEMO-4-PAYPAL о поиске и подборе для коммерческих агентов на базе NVIDIA NeMo и дообученной языковой модели Nemotron. В докладах он рассказывает о KV cache, бенчмаркинге с учётом нагрузки и настройке inference-движков под трафик.
Темы докладов: Инференс, стоимость, открытые модели, Инфраструктура и надёжность и Observability и трейсы.
AI Engineer World's Fair 20241
Оптимизация инференса LLM: от теории до экономичного развертывания
AI Engineer World's Fair 2024