Noah Shpak — инженер инфраструктуры машинного обучения в Character.AI, где он руководил платформой AI-данных. Его команда обслуживала и разработку foundation models, и продуктовые эксперименты. Shpak строил исследовательскую инфраструктуру на Apache Spark, Trino и GPU-сервисах для работы с моделями, embeddings и классификации, а ранее работал в Twitter. Он сопровождает открытый формат данных для AI-нагрузок Lance и интегрировал Lance с Trino. На AI Engineer World's Fair 2024 он рассказывал о разработке обучающих датасетов.
Темы докладов: Обучение, RL, дообучение и Инфраструктура и надёжность.
AI Engineer World's Fair 20241
Иерархия потребностей при разработке обучающих датасетов
AI Engineer World's Fair 2024