← Каталог

· AI Engineer NYC 2026 Online Talks

Сосед по GPU может услышать вашу модель

Your GPU Neighbor Can Hear Your Model — Branislav Brzak, Stealthium

Соседний арендатор общей GPU по задержкам памяти определяет модель, темп генерации и тип запроса вашего LLM, не читая промптов и ответов.

  • Утечка через MIG — глобальный барьер памяти (membar) влияет на все L2-разделы GPU. По словам спикера, медианная задержка растёт всего на 3 микросекунды во время инференса соседа, и этого хватает, чтобы определить архитектуру и глубину модели с точностью 97%.
  • Тип работы по таймингам — при включённом speculative decoding в vLLM классификатор отличал текст, код, JSON и извлечение данных: 31 из 40 вердиктов на полсекунды оказались верны.
  • Утечка между GPU через NVLink — обход указателей с соседнего GPU даёт 79,2% точности на пяти моделях при базовых 20%, но слоевая структура теряется и остаётся в основном темп.
  • Что сделать операторам — не размещайте недоверенных арендаторов рядом с чувствительными моделями. Запуски одного ядра почти три тысячи раз подряд на малом объёме памяти, как в зонде из доклада, видны мониторингу GPU.

Кому полезно: тем, кто запускает LLM на общих GPU у облачного провайдера или в мультитенантном кластере.

Статья по теме

Главы

Похожие доклады