Harshul Jain работает senior software engineer в Audible над инфраструктурой для ML, данных и AI. Ранее в Audible он участвовал в создании систем защиты контента от злоупотреблений и AWS data pipelines для рекомендаций. Он создатель проекта AgentShip, который отделяет определения агентов от runtime на базе LangGraph, LiteLLM, MCP adapters и OpenTelemetry. Также он ведёт публичный справочник «LLM Inference at Scale» о памяти GPU, KV cache и serving engines. В докладе вместе с Tanmay Sah он говорит об узких местах инференса LLM и о выборе между vLLM и SGLang.
Темы докладов: Инфраструктура и надёжность, Инференс, стоимость, открытые модели и Evals и бенчмарки.
Другое1
AI Engineer Code 20261
Твоей self-hosted LLM нужно уметь говорить «нет»
AI Engineer Code 2026