Taylor Jordan Smith работает principal developer advocate в Red Hat и помогает компаниям строить управляемые системы генеративного ИИ. Её основная тема — оценка LLM-систем в продакшене: она предлагает сначала проверять пропускную способность, задержку, загрузку ускорителей и стоимость, а затем точность, безопасность и поведение приложения. В работе она использует GuideLLM для бенчмаркинга, а также vLLM и llm-d для распределённого inference. Отдельно она пишет о надёжности агентов, корректности tool calls и Model Context Protocol и о модели Models-as-a-Service на OpenShift.
Темы докладов: Evals и бенчмарки, Инфраструктура и надёжность и Безопасность и governance.
AI Engineer World's Fair 20251
Стратегии для LLM evals (GuideLLM, lm-eval-harness, OpenAI Evals Workshop)
AI Engineer World's Fair 2025