Harshul Jain работает senior software engineer в Audible над инфраструктурой для ML, данных и AI. Ранее в Audible он участвовал в создании систем защиты контента от злоупотреблений и AWS data pipelines для рекомендаций. Он создатель проекта AgentShip, который отделяет определения агентов от runtime на базе LangGraph, LiteLLM, MCP adapters и OpenTelemetry. Также он ведёт публичный справочник «LLM Inference at Scale» о памяти GPU, KV cache и serving engines. В докладе вместе с Tanmay Sah он говорит об узких местах инференса LLM и о выборе между vLLM и SGLang.

Темы докладов: Инфраструктура и надёжность, Инференс, стоимость, открытые модели и Evals и бенчмарки.

Другое1

AI Engineer Code 20261