← Каталог

· AI Engineer World's Fair 2024

Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями

LLM Safeguards: Security, Privacy, Compliance, Anti-Hallucination

Безопасность LLM-приложений в компаниях строится из конкретных слоёв: проверки ответа по исходным данным, доверенного реестра моделей, фильтров PII и защиты от prompt injection до модели.

  • Оценка фактической согласованности — ответ сверяется с исходными данными ансамблем моделей, обученных на эту задачу (UniEval, BARTScore), и получает числовой балл. По словам спикера, такая проверка на CPU занимает около 200 мс при нескольких секундах на вызов LLM.
  • Доверенный реестр моделей — модели берутся с подходящей лицензией, копируются во внутренний реестр и проверяются по хешу. Флаг запуска недоверенного кода в Transformers лучше оставлять выключенным.
  • Фильтр PII и защита памяти — промпты можно блокировать, очищать или заменять фейковыми значениями, но логи и память сервера тоже нужно защищать. Спикер называет шифрование памяти (Intel SGX, TDX) и аттестацию среды.
  • Фильтр prompt injection — слой из классификаторов и семантического сравнения с примерами атак работает через векторный поиск по базе, а не вызовом модели, поэтому задержка почти не растёт. Пороги настраиваются, чтобы было видно, почему запрос заблокирован.

Кому полезно: тем, кто выводит LLM-приложения с PII или внутренними данными компании в продакшен.

Статья по теме

Главы

Похожие доклады