← Каталог

· AI Engineer World's Fair 2025

Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)

The Small Model Infrastructure Nobody Built (So We Did) — Filip Makraduli, Superlinked

Небольшие модели для эмбеддингов и поиска нужна обслуживать отдельной инфраструктурой, где несколько моделей делят одну GPU через hot-swap вместо карты на каждую модель.

  • Несколько моделей на одной GPU — эмбеддинги, реранкеры и GLiNER занимают по нескольку гигабайт, поэтому их переключают на общей карте с вытеснением по давности использования (LRU). По словам автора, утилизация GPU при этом заметно растёт.
  • Паддинг без лишних вычислений — при батчинге по токенам короткие запросы дополняются до длины самого длинного, и это тратит вычисления на пустые токены. Авторы переписали forward pass и используют variable-length FlashAttention, чтобы избежать этого.
  • Единого движка под все модели нет — BERT, Qwen и ColBERT различаются нормализацией, объединением query, key и value, позиционными эмбеддингами и grouped query attention, поэтому каждая архитектура требует своей реализации.
  • Маршрутизация и автоскейлинг открыты — очередь, роутер, автоскейлинг через KEDA по метрикам Prometheus, spot-инстансы и Helm-чарты лежат в открытом репозитории Superlinked Inference Engine (SIE).

Кому полезно: тем, кто строит агентные системы с большими контекстами и хочет предобрабатывать данные маленькими моделями до вызова LLM.

Статья по теме

Главы

Ещё доклады: Filip Makraduli

Страница спикера →

Похожие доклады