· AI Engineer World's Fair 2025
Как создавать надёжный ИИ
How to Build Trustworthy AI
Доверенный AI складывается из защиты приложения от внешних атак и защиты мира от самого приложения, и закрывать обе части нужно на всём жизненном цикле.
- Сканирование моделей до запуска — при десериализации pickle-файлов может выполниться произвольный код, поэтому скачанные модели стоит проверять. Открытый ModelScan от Protect AI ищет в них небезопасные операторы.
- Runtime-фильтры на входе и выходе — проверка промптов и ответов на prompt injection, джейлбрейки и PII вместе с кастомными правилами. В примере с подбором пациентов для клинических испытаний фильтр заблокировал запрос на изменение данных пациента в базе, хотя агенту такие действия не разрешались.
- Непрерывный red teaming — модели меняются от взаимодействия с пользователями, а не только от деплоя, поэтому тесты стоит повторять. Результаты помогают настраивать runtime-правила и сравнивать модели между собой, в том числе искать возможные бэкдоры.
Кому полезно: тем, кто выводит LLM-агентов с доступом к персональным или медицинским данным в продакшен.
Статья по теме
Главы
Ещё доклады: Allie Howe
Страница спикера →Похожие доклады
Защита систем машинного обучения
AI Engineer World's Fair 2024
Близко по содержанию
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию
Баланс инноваций, безопасности и защиты данных
AI Engineer Summit 2025
Близко по содержанию

