Ashok Chandrasekar — Staff Software Engineer в Google, где занимается оценкой и оптимизацией производительности inference для Google Kubernetes Engine. Он ведёт и поддерживает open source инструмент Inference Perf для сравнения систем для обслуживания моделей и совместно руководит SIG Benchmarking в llm-d. Ранее работал Staff Engineer в VMware.
Вместе с Jason Kramberger он написал исследование о систематическом смещении измерений в тестах LLM inference: клиент тестирования сам может искажать задержки Time to First Token и Time Per Output Token. В докладе на AI Engineer World's Fair 2026 они обсуждают надёжность тестов производительности LLM.
Темы докладов: Evals и бенчмарки.
AI Engineer World's Fair 20261
Насколько надёжны бенчмарки производительности LLM?
Ashok Chandrasekar, Jason Kramberger
AI Engineer World's Fair 2026