Dmytro Dzhulgakov — соучредитель и CTO компании Fireworks AI, которая создаёт инфраструктуру для развёртывания и кастомизации открытых генеративных моделей. Ранее он был core maintainer PyTorch и инженерным руководителем в Facebook AI, где занимался переносом фреймворков глубокого обучения в продакшн. Он соавтор исследования Deep Learning Recommendation Model (2019) и автор open source адаптации кода инференса Llama для Mistral и Mixtral. Сейчас он работает над инференсом: кастомные CUDA kernels, обслуживание LoRA адаптеров на общей GPU инфраструктуре и function calling. Его доклады на AI Engineer World's Fair 2024 посвящены открытым моделям с дообучением и их задержкам и стоимости.
Темы докладов: Инференс, стоимость, открытые модели, Инфраструктура и надёжность и Инструменты и протоколы (MCP, A2A).
AI Engineer World's Fair 20242
Как сделать открытые модели в 10 раз быстрее и лучше для современных приложений
Dmytro (Dima) Dzhulgakov, Lin Qiao
AI Engineer World's Fair 2024
Настраиваемый production-инференс open source-моделей
AI Engineer World's Fair 2024