· AI Engineer NYC 2026 Online Talks
Сосед по GPU может услышать вашу модель
Your GPU Neighbor Can Hear Your Model — Branislav Brzak, Stealthium
Соседний арендатор общей GPU по задержкам памяти определяет модель, темп генерации и тип запроса вашего LLM, не читая промптов и ответов.
- Утечка через MIG — глобальный барьер памяти (membar) влияет на все L2-разделы GPU. По словам спикера, медианная задержка растёт всего на 3 микросекунды во время инференса соседа, и этого хватает, чтобы определить архитектуру и глубину модели с точностью 97%.
- Тип работы по таймингам — при включённом speculative decoding в vLLM классификатор отличал текст, код, JSON и извлечение данных: 31 из 40 вердиктов на полсекунды оказались верны.
- Утечка между GPU через NVLink — обход указателей с соседнего GPU даёт 79,2% точности на пяти моделях при базовых 20%, но слоевая структура теряется и остаётся в основном темп.
- Что сделать операторам — не размещайте недоверенных арендаторов рядом с чувствительными моделями. Запуски одного ядра почти три тысячи раз подряд на малом объёме памяти, как в зонде из доклада, видны мониторингу GPU.
Кому полезно: тем, кто запускает LLM на общих GPU у облачного провайдера или в мультитенантном кластере.
Статья по теме
Главы
Похожие доклады
Защита систем машинного обучения
AI Engineer World's Fair 2024
Близко по содержанию
Одна модель — разная скорость: почему важен провайдер инференса
AI Engineer World's Fair 2026
Близко по содержанию
Ваш стек LLM — это база данных 2008 года с более удачным маркетингом
AI Engineer World's Fair 2026
Близко по содержанию
Агенты, которые сами управляют своим инференсом
AI Engineer World's Fair 2026
Близко по содержанию

