Noyan Tokgozoglu на момент записи доклада был head of AI engineering в Optiver, где рассказывал о платформе ИИ-моделей торговой фирмы. До этого он работал в Apple над персонализацией и ML-системами. Его соавторские работы посвящены сжатию моделей для устройств и приватности: MEmCom для компрессии embeddings в рекомендательных системах, туториал по Private Information Retrieval for Personalization и исследование о небольших классификаторах безопасности Lightweight Safety Guardrails. В докладе он говорит о том, как быстро выводить новые модели в продакшн и измерять их влияние на торговлю.

Темы докладов: Инфраструктура и надёжность, Инференс, стоимость, открытые модели и Evals и бенчмарки.

Другое1