Открытые вопросы AI-инжиниринга
AI Engineer Summit 2023
Загружаем страницу…
Угрозы для AI-систем и защита от них: prompt injection, guardrails, приватность, комплаенс, правила использования ИИ в компании и агенты в кибербезопасности.
Спикеры разбирают реальные атаки на агентов и меры, которые могли бы их остановить, и показывают защиту в реальном времени. Регулируемые отрасли представлены банками и страховщиками: там безопасность и governance решают, пойдёт ли AI-проект в продакшен вообще. Есть доклады и про обратную сторону, где LLM защищает исходный код и ищет уязвимости.
AI Engineer Summit 2023
AI Engineer Summit 2023
Reinier van der Leer, Silen Naihin, Toran Bruce Richards
AI Engineer Summit 2023
Атака, при которой инструкции для модели прячут в данных: в письме, веб-странице, issue или документе. Модель не отличает данные от команд и выполняет чужие указания. Для агента с инструментами это опаснее, чем для чат-бота.
Одним фильтром не защититься. Спикеры советуют ограничивать права агента, просить человека подтвердить опасные действия, держать недоверенный контент подальше от инструментов с доступом к данным и логировать всё, что агент делает.
Guardrails - проверки на входе и выходе модели: фильтр опасных запросов, проверка ответа на утечку данных, на формат, тему и политику компании. Их ставят вокруг модели, потому что одной инструкции в промпте мало.