← Каталог

Большие кластеры для маленьких моделей

Large clusters for small models — Daniel Svonava, Superlinked

Флот небольших open source моделей выгоднее обслуживать общей очередью, из которой воркеры сами формируют батчи, а не роутером, который заранее раздаёт запросы по локальным очередям.

  • Роутер как узкое место — по словам спикера, при большом потоке мелких запросов схема с роутером, раздающим запросы по воркерам, не давала загрузить GPU выше 20–30% под постоянной нагрузкой.
  • Общая очередь вместо роутера — gateway добавляет метаданные и кладёт запрос в очередь NATS JetStream, а воркеры сами берут задачи в батч. По словам автора, централизация очереди удвоила пропускную способность кластера.
  • Runtime за единым интерфейсом — PyTorch, Candle и SGLang подключаются через Rust sidecar и локальный сокет. Образ с Candle по размеру примерно в десять раз легче образа с PyTorch, но по скорости Candle пока уступает PyTorch.
  • Настройки под каждую модель — параметры подбирает autoresearch-цикл, и готовый конфиг поставляется вместе с моделью. Одна LoRA на немецких юридических текстах, обученная примерно за 80 центов, по словам спикера, подняла качество поиска на 18%.

Кому полезно: тем, кто запускает много небольших моделей на собственном GPU-кластере и упирается в загрузку GPU или в согласование LoRA между командами.

Статья по теме

Главы

Похожие доклады