Shelby Heinecke — senior research manager в Salesforce AI Research, где руководит исследованиями эффективных языковых моделей, агентов и методов оценки их поведения в реальных условиях. Она участвовала в создании MobileAIBench для оценки языковых и мультимодальных моделей на устройствах, а также APIGen, фреймворка для проверки синтетических примеров function calling, и исследований xLAM large action models. Раньше работала в Intel, IBM Research, MITRE и Department of Defense.

На AI Engineer World's Fair 2024 она рассказывала, как эффективность помогает переносить AI-системы из демонстраций в промышленную эксплуатацию и на устройства с ограниченными ресурсами.

Темы докладов: Инференс, стоимость, открытые модели и Evals и бенчмарки.

AI Engineer World's Fair 20241