· AI Engineer World's Fair 2024
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
LLM Safeguards: Security, Privacy, Compliance, Anti-Hallucination
Безопасность LLM-приложений в компаниях строится из конкретных слоёв: проверки ответа по исходным данным, доверенного реестра моделей, фильтров PII и защиты от prompt injection до модели.
- Оценка фактической согласованности — ответ сверяется с исходными данными ансамблем моделей, обученных на эту задачу (UniEval, BARTScore), и получает числовой балл. По словам спикера, такая проверка на CPU занимает около 200 мс при нескольких секундах на вызов LLM.
- Доверенный реестр моделей — модели берутся с подходящей лицензией, копируются во внутренний реестр и проверяются по хешу. Флаг запуска недоверенного кода в Transformers лучше оставлять выключенным.
- Фильтр PII и защита памяти — промпты можно блокировать, очищать или заменять фейковыми значениями, но логи и память сервера тоже нужно защищать. Спикер называет шифрование памяти (Intel SGX, TDX) и аттестацию среды.
- Фильтр prompt injection — слой из классификаторов и семантического сравнения с примерами атак работает через векторный поиск по базе, а не вызовом модели, поэтому задержка почти не растёт. Пороги настраиваются, чтобы было видно, почему запрос заблокирован.
Кому полезно: тем, кто выводит LLM-приложения с PII или внутренними данными компании в продакшен.
Статья по теме
Главы
Похожие доклады
Основы AI-безопасности для инженеров + сертификат
AI Engineer World's Fair 2026
Близко по содержанию
LLM evals, которые работают в реальных условиях
AI Engineer World's Fair 2024
Близко по содержанию
Как создавать надёжный ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Защита систем машинного обучения
AI Engineer World's Fair 2024
Близко по содержанию

