← Каталог

· AI Engineer World's Fair 2024

Защита систем машинного обучения

Building security around ML

Защита ML-систем сводится к проверке происхождения данных и моделей, мониторингу API и своевременным патчам, потому что устойчивость к атакам пока не решена.

  • Проверка происхождения данных — ImageNet раздавался списком URL, часть доменов истекла и была перерегистрирована, поэтому картинки могут отличаться от оригинала. Сверяйте контрольные суммы SHA-256 после загрузки и относитесь к данным из публичных источников и RAG как к недоверенным.
  • Мониторинг кражи модели — сравнивайте число запросов каждого пользователя с типичным, например с обычными 1000 в месяц против миллиона у одного. Отдавайте минимум информации: мягкие выходы (logits) облегчают обучение суррогатной модели; по словам спикера, Stanford Alpaca воспроизвёл поведение модели OpenAI примерно за $600 запросов к API.
  • Цепочка поставок моделей — функции вроде lambda в Keras и файловые операции TensorFlow позволяют выполнить произвольный код при загрузке модели. Проверяйте организацию-источник, сканируйте файлы на malware и запускайте непроверенные модели в sandbox.
  • Prompt injection через картинки — текстовые инъекции можно отлавливать классификатором, а инъекции в изображениях, по оценке спикера, обнаружить очень трудно. Для почтового агента вложение-картинка опаснее текста письма.

Кому полезно: тем, кто запускает модели из публичных хабов или отдаёт свою модель через API.

Статья по теме

Главы

Похожие доклады