← Каталог

· AI Engineer World's Fair 2025

Как создавать надёжный ИИ

How to Build Trustworthy AI

Доверенный AI складывается из защиты приложения от внешних атак и защиты мира от самого приложения, и закрывать обе части нужно на всём жизненном цикле.

  • Сканирование моделей до запуска — при десериализации pickle-файлов может выполниться произвольный код, поэтому скачанные модели стоит проверять. Открытый ModelScan от Protect AI ищет в них небезопасные операторы.
  • Runtime-фильтры на входе и выходе — проверка промптов и ответов на prompt injection, джейлбрейки и PII вместе с кастомными правилами. В примере с подбором пациентов для клинических испытаний фильтр заблокировал запрос на изменение данных пациента в базе, хотя агенту такие действия не разрешались.
  • Непрерывный red teaming — модели меняются от взаимодействия с пользователями, а не только от деплоя, поэтому тесты стоит повторять. Результаты помогают настраивать runtime-правила и сравнивать модели между собой, в том числе искать возможные бэкдоры.

Кому полезно: тем, кто выводит LLM-агентов с доступом к персональным или медицинским данным в продакшен.

Статья по теме

Главы

Ещё доклады: Allie Howe

Страница спикера →

Похожие доклады