· AI Engineer World's Fair 2026
Как масштабировать Hugging Face Hub и обслуживать 2 миллиона моделей без перегрузок
Serving 2 Million Models Without Melting: Scaling the Hugging Face Hub
Чтобы поиск по трём миллионам моделей оставался быстрым, Hugging Face токенизирует имена при записи и переносит поиск на Atlas Search вместо regex.
- Токены при записи — имя модели, например meta-llama/llama3.1-8b, разбивается на токены при публикации и хранится массивом в денормализованной коллекции только для чтения, поэтому запрос не тратит время на разбор строки.
- Atlas Search вместо regex — по словам спикера, regex-запросы по массивам токенов перестали справляться с ростом каталога и давали рост задержек. Atlas Search на базе Apache Lucene с autocomplete, по его словам, снял эти проблемы.
- Чтения на реплики — запросы без требования свежих данных, тяжёлые агрегации и change streams идут на secondary, разовые отчёты на скрытый аналитический узел, а primary остаётся для записей и строго согласованных чтений.
- Два слоя автоскейлинга — HPA масштабирует поды от 10 до 500, CAST AI добавляет ноды, когда поды некуда поставить. Планируется переход на KEDA, чтобы масштабироваться по метрикам приложения, например requests per second, а не только по CPU и памяти.
Кому полезно: тем, кто строит поиск по большому каталогу на MongoDB Atlas или масштабирует сервисы в Kubernetes под резкие пики нагрузки.
Статья по теме
Главы
Похожие доклады
RAG и документная модель MongoDB
AI Engineer World's Fair 2024
Близко по содержанию
Почему нам не нужно больше дата-центров
AI Engineer World's Fair 2025
Близко по содержанию
Развертывание LLM-эндпоинта менее чем за 5 минут
AI Engineer Europe 2026
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию

