← Каталог

Loophole: adversarial agents для проверки моральных принципов на прочность

Loophole: Adversarial Agents To Stress Test Your Morality — Brendan Rappazzo, Morgan Stanley

Моральные принципы можно превратить в юридический кодекс и проверить состязательными агентами на лазейки и перегибы.

  • Три агента в цикле — один агент пишет кодекс по принципам пользователя, второй ищет аморальное, но легальное поведение, третий ищет моральное, но запрещённое. Судья либо сам патчит кодекс, либо передаёт неоднозначность пользователю.
  • Патч или решение человека — если противоречие возникло из-за неточного перевода принципов в правила, кодекс исправляется автоматически. Недоопределённость или конфликт самих принципов решает пользователь.
  • Системные промпты чат-ботов — тот же цикл генерирует кодифицированный системный промпт по списку того, о чём бот говорит и о чём молчит. Состязательные агенты пытаются заставить бота нарушить правила или отказаться от допустимого.
  • Симуляция голосования — по словам автора, профили сенаторов строились по их публичной истории голосов. Подбор формулировок законопроекта поднял его поддержку с 50 до 52 голосов.

Кому полезно: тем, кто хочет проверить согласованность правил системного промпта или политики агента до выпуска.

Статья по теме

Главы

Ещё доклады: Brendan Rappazzo

Страница спикера →

Похожие доклады