· AI Engineer World's Fair 2025
Prompt engineering и red teaming ИИ
Prompt Engineering & AI Red Teaming
Prompt injection нельзя закрыть ни системным промптом, ни фильтрами, поэтому агенты с доступом к внешнему миру пока не защищены, по словам спикера.
- Системный промпт не защищает — по словам спикера, никакой системный промпт не предотвращает prompt injection, а фразы вида «игнорируй вредоносный ввод» не работают.
- Фильтры обходятся кодированием — запрос, переведённый на испанский и закодированный в Base64, прошёл и входной, и выходной фильтр. Спикер считает guardrails в целом слабыми.
- Role prompting для точности бесполезен — в The Prompt Report роль «глупого» персонажа на GSM8K обошла роль профессора математики. Для задач с измеримой точностью роли спикер не рекомендует.
- Атаки переносятся между моделями — по данным исследования, 40% промптов, которые атаковали GPT-3, сработали и на GPT-4. По словам спикера, каждая новая модель ломается почти сразу после выхода.
Кому полезно: тем, кто выводит LLM-агентов с доступом к инструментам и внешним данным в продакшен.
Статья по теме
Главы
Похожие доклады
Основы AI-безопасности для инженеров + сертификат
AI Engineer World's Fair 2026
Близко по содержанию
Неожиданная эффективность обучения промптам
AI Engineer Code 2025
Близко по содержанию
Как мы взломали AI-агентов весеннего батча YC 2025
AI Engineer World's Fair 2025
Близко по содержанию
Основы безопасности ИИ для инженеров + сертификат
AI Engineer World's Fair 2026
Близко по содержанию

