Jason Kramberger работает software engineer в Google и является maintainer проекта Inference Perf, open-source инструмента для измерения производительности inference языковых моделей. В проекте он занимался генерацией нагрузки и воспроизводимостью экспериментов: добавил мультипроцессную генерацию нагрузки, автоматическое наращивание нагрузки, определение точки насыщения и Helm chart для развёртывания в Kubernetes. Вместе с Ashok Chandrasekar он написал исследование систематических смещений при измерении LLM inference. Также он автор руководства по benchmarking в GKE AI Labs.

На AI Engineer World's Fair 2026 он выступил вместе с Ashok Chandrasekar с докладом о надёжности бенчмарков LLM.

Темы докладов: Evals и бенчмарки.

AI Engineer World's Fair 20261