【ReNeLLM】披着羊皮的狼--自动化生成越狱提示的系统

南京大学 & 美团联合团队发表了一篇 NAACL 2024 论文《A Wolf in Sheep’s Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily》（披着羊皮的狼）。非常有意思的名字，他们提出了一套名叫 ReNeLLM 的自动化框架，让 ChatGPT、GPT-4、Claude-2、Llama2 等主流大模型集体失守。

一.研究背景与意义

随着 ChatGPT、GPT-4、Claude-2、Llama2-chat 等安全对齐（Safety-Alignment）大模型的规模化部署，其抵御恶意指令的能力成为产业落地的关键瓶颈。现有越狱（Jailbreak）方法可分为：

人工模板型（如 DAN），白盒优化型（如 GCG、AutoDAN）

当前越狱方法深陷“两重桎梏”：一端是纯手工雕琢的提示词——它们往往由安全研究员或社区极客凭经验反复试错而成，每一次模型升级或策略更新都意味着整套模板需推倒重来，迭代周期以周计、以月计，迅速失效；另一端则是基于梯度优化的对抗后缀搜索，这类方法虽然自动化程度高，却必须拿到目标模型的完整白盒权限，在替代模型上展开高维离散优化，动辄数千次前向-反向传播，GPU 小时数直线上升，而所得后缀通常是无意义的乱码或特殊标记，跨模型迁移后性能断崖式下跌，计算代价与实用价值严重失衡。

二：ReNeLLM 方法框架

ReNeLLM 框架的核心创新在于将越狱攻击系统性地抽象为两个维度：

1.提示重写 (Prompt Rewriting)

2.场景嵌套 (Scenario Nesting)

2.1 Prompt Rewriting

提示重写技术设计了6种重写函数来掩盖恶意意图：

压缩改写：将提示压缩到6个词以内

句式重构：改变词序但保持语义不变

敏感词拼错：故意拼错关键敏感词汇

插入干扰字符：加入无意义的外语词汇或字符

部分翻译：将敏感词翻译成其他语言(如中文)

表达风格转换：使用俚语或方言重新表述

2.2 Scenario Nesting

场景嵌套技术

将重写后的提示嵌入到3种通用任务场景中：

**代码补全 (Code Completion)

表格填充 (Table Filling)

文本续写 (Text Continuation)**

2.3 Pipline

ReNeLLM 把一次完整的越狱流程抽象成“两步循环”：

Prompt Rewriting（提示重写）——用 6 种无梯度重写函数对原始恶意 prompt 做“整容”，保留语义但改头换面；

Scenario Nesting（场景嵌套）——把重写结果随机塞进“代码补全 / 故事续写 / 表格填充”三种通用任务模板，诱导目标 LLM 优先完成“任务”而忽略安全指令。

如果这一轮没成功，就回到第 1 步继续改写，直到触发有害输出或达到最大迭代次数。整个过程完全黑盒，无需模型梯度，也无需人工prompt。

三，实验结果

与其他红队攻击方法相比，ReNeLLM攻击成功率更强，攻击成功速度更快

注：

本博客参考论文为：Ding P, Kuang J, Ma D, Cao X, Xian Y, Chen J, Huang S. A Wolf in Sheep’s Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models EasilyJ. arXiv, 2024. arXiv:2311.08268.

论文链接：https://arxiv.org/abs/2311.08268

GitHub：https://github.com/NJUNLP/ReNeLLM