Philip Kiely — Head of AI Education в Baseten, компании, которая занимается инференсом моделей. В Baseten он работает с января 2022 года, когда стал её десятым сотрудником. Основная часть его работы связана с инференсом: выбор hardware, деплой моделей, поиск узких мест и баланс между latency, throughput и стоимостью. Он автор книги Inference Engineering (2026) о том, как архитектура модели, GPU, serving runtime и оптимизация определяют скорость и стоимость production AI.
До Baseten он писал технические статьи для Smashing Magazine и Twilio. Его доклады на AI Engineer World's Fair посвящены TensorRT-LLM, SGLang и оптимизации инференса голосовых моделей Orpheus.
Темы докладов: Инференс, стоимость, открытые модели, Инфраструктура и надёжность, Обучение, RL, дообучение, Голосовые агенты и речь и Evals и бенчмарки.
AI Engineer World's Fair 20261
Что нового в инженерии инференса
AI Engineer World's Fair 2026
AI Engineer World's Fair 20252
Оптимизация инференса голосовых моделей в production
AI Engineer World's Fair 2025
Введение в serving LLM с SGLang
AI Engineer World's Fair 2025
AI Engineer World's Fair 20241
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024