Tanay Varshney — senior product research engineer в NVIDIA. Он работает над NeMo и inference-микросервисами NVIDIA, исследуя, как выбирать подходящую модель под конкретную задачу. В 2026 году вместе с Annie Surla он опубликовал работу о роутинге на основе prefill activations, которая оценивает вероятность правильного ответа модели до его генерации. Среди его заметных работ — NVIDIA NeMo Switchyard, который отделяет решения о маршрутизации от endpoint провайдеров, а также руководства по архитектуре LLM-агентов, реранкингу и мультимодальному RAG для видео и аудио.
В докладе на AI Engineer World's Fair 2026 он участвует в дискуссии о маршрутизации между моделями с учётом качества, стоимости inference и загрузки локального железа.
Темы докладов: Инференс, стоимость, открытые модели, Мультиагентность и оркестрация и Evals и бенчмарки.
AI Engineer World's Fair 20261
Современное состояние маршрутизации моделей
Alex Atallah, Carter Abdallah, Nader Khalil, Tanay Varshney, Walden Yan
AI Engineer World's Fair 2026