Khaja Omer работает senior software engineer в Akamai. Он занимается managed Kubernetes и системами, которые обслуживают inference для AI: управлением кластерами, подключением хранилищ и автоскейлингом. Среди его проектов Cluster API Provider Linode, Linode Block Storage CSI driver и Linode Karpenter provider, а также экспериментальный linode-mcp, MCP-сервер для Linode API. В докладе вместе с Du'an Lightfoot он говорит о тюнинге inference: квантизации, speculative decoding и пределе роста пропускной способности при параллельных запросах.
Темы докладов: Инференс, стоимость, открытые модели, Инфраструктура и надёжность и Evals и бенчмарки.
AI Engineer World's Fair 20261
Агенты, которые сами управляют своим инференсом
AI Engineer World's Fair 2026