· AI Engineer World's Fair 2025
Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)
The Small Model Infrastructure Nobody Built (So We Did) — Filip Makraduli, Superlinked
Небольшие модели для эмбеддингов и поиска нужна обслуживать отдельной инфраструктурой, где несколько моделей делят одну GPU через hot-swap вместо карты на каждую модель.
- Несколько моделей на одной GPU — эмбеддинги, реранкеры и GLiNER занимают по нескольку гигабайт, поэтому их переключают на общей карте с вытеснением по давности использования (LRU). По словам автора, утилизация GPU при этом заметно растёт.
- Паддинг без лишних вычислений — при батчинге по токенам короткие запросы дополняются до длины самого длинного, и это тратит вычисления на пустые токены. Авторы переписали forward pass и используют variable-length FlashAttention, чтобы избежать этого.
- Единого движка под все модели нет — BERT, Qwen и ColBERT различаются нормализацией, объединением query, key и value, позиционными эмбеддингами и grouped query attention, поэтому каждая архитектура требует своей реализации.
- Маршрутизация и автоскейлинг открыты — очередь, роутер, автоскейлинг через KEDA по метрикам Prometheus, spot-инстансы и Helm-чарты лежат в открытом репозитории Superlinked Inference Engine (SIE).
Кому полезно: тем, кто строит агентные системы с большими контекстами и хочет предобрабатывать данные маленькими моделями до вызова LLM.
Статья по теме
Главы
Ещё доклады: Filip Makraduli
Страница спикера →Превращаю хранилище Obsidian в локального AI-инженера
AI Engineer World's Fair 2026
Свёртка весов, CUDA-потоки и баг, из-за которого моя модель заговорила задом наперёд
AI Engineer World's Fair 2026
Похожие доклады
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию
Зачем большие? Маленькие языковые модели и agents на периферийных устройствах и в робототехнике
AI Engineer World's Fair 2026
Близко по содержанию
Оптимизация инференса LLM: от теории до экономичного развертывания
AI Engineer World's Fair 2024
Близко по содержанию
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Близко по содержанию

