Balaji Varadarajan — staff engineer по LLM inference в DigitalOcean, где он одним из первых инженеров создавал выделенную платформу для обслуживания больших языковых моделей. Он изучает, какую нагрузку способен выдержать один GPU-сервер, сохраняя быстрый первый токен и стабильную потоковую выдачу текста. От этого предела зависит, сколько серверов нужно развёртыванию и сколько оно будет стоить.
До DigitalOcean он работал старшим инженером в HubSpot и CCC Intelligent Solutions. В Target он руководил командой инженеров машинного обучения и занимался рекомендациями и RAG, а также является соавтором патента на систему планирования выдачи заказов при самовывозе. Доклад на AI Engineer Code 2026 посвящён поиску более удачной схемы обслуживания моделей.
Темы докладов: Инференс, стоимость, открытые модели.