← Каталог

· AI Engineer World's Fair 2025

Prompt engineering и red teaming ИИ

Prompt Engineering & AI Red Teaming

Prompt injection нельзя закрыть ни системным промптом, ни фильтрами, поэтому агенты с доступом к внешнему миру пока не защищены, по словам спикера.

  • Системный промпт не защищает — по словам спикера, никакой системный промпт не предотвращает prompt injection, а фразы вида «игнорируй вредоносный ввод» не работают.
  • Фильтры обходятся кодированием — запрос, переведённый на испанский и закодированный в Base64, прошёл и входной, и выходной фильтр. Спикер считает guardrails в целом слабыми.
  • Role prompting для точности бесполезен — в The Prompt Report роль «глупого» персонажа на GSM8K обошла роль профессора математики. Для задач с измеримой точностью роли спикер не рекомендует.
  • Атаки переносятся между моделями — по данным исследования, 40% промптов, которые атаковали GPT-3, сработали и на GPT-4. По словам спикера, каждая новая модель ломается почти сразу после выхода.

Кому полезно: тем, кто выводит LLM-агентов с доступом к инструментам и внешним данным в продакшен.

Статья по теме

Главы

Похожие доклады