· AI Engineer World's Fair 2024
Защита систем машинного обучения
Building security around ML
Защита ML-систем сводится к проверке происхождения данных и моделей, мониторингу API и своевременным патчам, потому что устойчивость к атакам пока не решена.
- Проверка происхождения данных — ImageNet раздавался списком URL, часть доменов истекла и была перерегистрирована, поэтому картинки могут отличаться от оригинала. Сверяйте контрольные суммы SHA-256 после загрузки и относитесь к данным из публичных источников и RAG как к недоверенным.
- Мониторинг кражи модели — сравнивайте число запросов каждого пользователя с типичным, например с обычными 1000 в месяц против миллиона у одного. Отдавайте минимум информации: мягкие выходы (logits) облегчают обучение суррогатной модели; по словам спикера, Stanford Alpaca воспроизвёл поведение модели OpenAI примерно за $600 запросов к API.
- Цепочка поставок моделей — функции вроде
lambdaв Keras и файловые операции TensorFlow позволяют выполнить произвольный код при загрузке модели. Проверяйте организацию-источник, сканируйте файлы на malware и запускайте непроверенные модели в sandbox. - Prompt injection через картинки — текстовые инъекции можно отлавливать классификатором, а инъекции в изображениях, по оценке спикера, обнаружить очень трудно. Для почтового агента вложение-картинка опаснее текста письма.
Кому полезно: тем, кто запускает модели из публичных хабов или отдаёт свою модель через API.
Статья по теме
Главы
Похожие доклады
Как создавать надёжный ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Безопасность агентов, исполняющих код
AI Engineer World's Fair 2025
Близко по содержанию
Основы AI-безопасности для инженеров + сертификат
AI Engineer World's Fair 2026
Близко по содержанию
Реальные атаки на AI-агентов и меры, которые могли бы их предотвратить
Близко по содержанию

