Большие кластеры для маленьких моделей
Large clusters for small models — Daniel Svonava, Superlinked
Флот небольших open source моделей выгоднее обслуживать общей очередью, из которой воркеры сами формируют батчи, а не роутером, который заранее раздаёт запросы по локальным очередям.
- Роутер как узкое место — по словам спикера, при большом потоке мелких запросов схема с роутером, раздающим запросы по воркерам, не давала загрузить GPU выше 20–30% под постоянной нагрузкой.
- Общая очередь вместо роутера — gateway добавляет метаданные и кладёт запрос в очередь NATS JetStream, а воркеры сами берут задачи в батч. По словам автора, централизация очереди удвоила пропускную способность кластера.
- Runtime за единым интерфейсом — PyTorch, Candle и SGLang подключаются через Rust sidecar и локальный сокет. Образ с Candle по размеру примерно в десять раз легче образа с PyTorch, но по скорости Candle пока уступает PyTorch.
- Настройки под каждую модель — параметры подбирает autoresearch-цикл, и готовый конфиг поставляется вместе с моделью. Одна LoRA на немецких юридических текстах, обученная примерно за 80 центов, по словам спикера, подняла качество поиска на 18%.
Кому полезно: тем, кто запускает много небольших моделей на собственном GPU-кластере и упирается в загрузку GPU или в согласование LoRA между командами.
Статья по теме
Главы
Похожие доклады
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию
Агенты в масштабе: модель MiniMax и инфраструктура для её работы
AI Engineer World's Fair 2026
Близко по содержанию
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию
Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)
AI Engineer World's Fair 2025
Близко по содержанию

