Loophole: adversarial agents для проверки моральных принципов на прочность
Loophole: Adversarial Agents To Stress Test Your Morality — Brendan Rappazzo, Morgan Stanley
Моральные принципы можно превратить в юридический кодекс и проверить состязательными агентами на лазейки и перегибы.
- Три агента в цикле — один агент пишет кодекс по принципам пользователя, второй ищет аморальное, но легальное поведение, третий ищет моральное, но запрещённое. Судья либо сам патчит кодекс, либо передаёт неоднозначность пользователю.
- Патч или решение человека — если противоречие возникло из-за неточного перевода принципов в правила, кодекс исправляется автоматически. Недоопределённость или конфликт самих принципов решает пользователь.
- Системные промпты чат-ботов — тот же цикл генерирует кодифицированный системный промпт по списку того, о чём бот говорит и о чём молчит. Состязательные агенты пытаются заставить бота нарушить правила или отказаться от допустимого.
- Симуляция голосования — по словам автора, профили сенаторов строились по их публичной истории голосов. Подбор формулировок законопроекта поднял его поддержку с 50 до 52 голосов.
Кому полезно: тем, кто хочет проверить согласованность правил системного промпта или политики агента до выпуска.
Статья по теме
Главы
Ещё доклады: Brendan Rappazzo
Страница спикера →ALPHALAB: автономные мультиагентные исследования в областях оптимизации с frontier LLMs
AI Engineer World's Fair 2026
Похожие доклады
Как использовать LLM для защиты исходного кода
AI Engineer World's Fair 2026
Близко по содержанию
За пределами смертельной триады: агентная коммерция в открытом интернете
Близко по содержанию
Безопасность агентов, исполняющих код
AI Engineer World's Fair 2025
Близко по содержанию
Для долгоживущих агентов нужны эксперименты, а не только промпты
AI Engineer World's Fair 2026
Близко по содержанию

