Daria Soboleva — главный научный сотрудник Cerebras, где развивает эффективные языковые модели: работает над данными для предобучения, разреженными архитектурами, оптимизацией и аппаратным обеспечением. Она соавтор открытого датасета SlimPajama на 627 млрд токенов, полученного очисткой и дедупликацией RedPajama, и модели BTLM-3B-8K с тремя миллиардами параметров, обученной на этом датасете. Ранее она работала над ML-системами в Yandex Search и Google, включая распознавание речи для Google Assistant. В докладах она рассказывает о mixture of experts, маршрутизации экспертов и мультиагентных системах.
Темы докладов: Мультиагентность и оркестрация и Инференс, стоимость, открытые модели.
AI Engineer World's Fair 20251
От Mixture of Experts к Mixture of Agents — с молниеносным инференсом
AI Engineer World's Fair 2025