· AI Engineer World's Fair 2025
Агент для red teaming ИИ: Azure AI Foundry
AI Red Teaming Agent: Azure AI Foundry — Nagkumar Arkalgud & Keiji Kanazawa, Microsoft
Автоматический red teaming через PyRIT в Azure AI Foundry прогоняет атакующие промпты против вашего приложения и показывает, какие из них проходят защиту.
- Атаки через кодирование — обход защиты работает простыми преобразованиями: запрос переворачивают задом наперёд, кодируют в Base64 или шифром Цезаря, а стратегии можно комбинировать в одной атаке.
- Скан до выхода в продакшен — SDK запускает проверку по четырём категориям риска против приложения или напрямую против модели Azure OpenAI, а результаты приходят ссылкой на хостед-дашборд.
- Результат зависит от модели и фильтров — по словам авторов, на небольшой выборке из 160 запросов GPT-4o с включёнными фильтрами не пропустил ни одной атаки, а Phi-3 пропустил 5 из 40 в категории hate and unfairness.
- Фильтры находятся вне модели — входные и выходные content filters работают снаружи модели, Prompt Shields защищает от атак через промпты; сначала замеряют риски, затем добавляют guardrails.
Кому полезно: тем, кто выводит агентов с доступом к клиентским или внутренним данным и хочет проверять их безопасность до релиза.
Статья по теме
Главы
Похожие доклады
Как создавать надёжный ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Идентификация AI-агентов
AI Engineer Code 2025
Близко по содержанию
ИТ-администрирование AI-рабочей силы
AI Engineer World's Fair 2026
Близко по содержанию
Основы AI-безопасности для инженеров + сертификат
AI Engineer World's Fair 2026
Близко по содержанию


