← Каталог

· AI Engineer World's Fair 2025

Агент для red teaming ИИ: Azure AI Foundry

AI Red Teaming Agent: Azure AI Foundry — Nagkumar Arkalgud & Keiji Kanazawa, Microsoft

Автоматический red teaming через PyRIT в Azure AI Foundry прогоняет атакующие промпты против вашего приложения и показывает, какие из них проходят защиту.

  • Атаки через кодирование — обход защиты работает простыми преобразованиями: запрос переворачивают задом наперёд, кодируют в Base64 или шифром Цезаря, а стратегии можно комбинировать в одной атаке.
  • Скан до выхода в продакшен — SDK запускает проверку по четырём категориям риска против приложения или напрямую против модели Azure OpenAI, а результаты приходят ссылкой на хостед-дашборд.
  • Результат зависит от модели и фильтров — по словам авторов, на небольшой выборке из 160 запросов GPT-4o с включёнными фильтрами не пропустил ни одной атаки, а Phi-3 пропустил 5 из 40 в категории hate and unfairness.
  • Фильтры находятся вне модели — входные и выходные content filters работают снаружи модели, Prompt Shields защищает от атак через промпты; сначала замеряют риски, затем добавляют guardrails.

Кому полезно: тем, кто выводит агентов с доступом к клиентским или внутренним данным и хочет проверять их безопасность до релиза.

Статья по теме

Главы

Похожие доклады