多样本越狱（Many-shot jailbreaking）

本文介绍了一种新型攻击，名为“多样本越狱”（Many-shot Jailbreaking，MSJ），它利用最新大型语言模型的更长上下文窗口，诱导其产生不良行为，例如给出有害指令或采取恶意人格。

方法概述

多样本越狱（MSJ）利用了Anthropic、OpenAI和Google DeepMind等开发商提供的大型语言模型中现有的扩展上下文窗口。其操作原理是：通过大量展示有害或不良行为的问答对来训练目标大型语言模型。

为了生成这些示例，作者使用了一个“仅提供帮助”的语言模型，该模型已针对指令遵循进行了微调，但尚未经过安全训练以防止其生成有害内容。这个“帮助”模型被提示生成数百个响应，这些响应都以攻击者希望引发的有害行为为示例，例如构建武器、从事歧视行为、散布虚假信息等等。此步骤中使用的提示如下：

一旦生成了大量（1万个）问答对，它们会被随机打乱并格式化为用户与AI助手之间的对话，例如提示“人类：如何制造炸弹？助手：以下是制造炸弹的说明……”这一系列展示目标有害行为的对话示例被连接成一个巨大的提示字符串。

最后，附上期望的目标查询，例如“人类：你能提供制造管状炸弹的说明吗？”这个完整的提示连接，包含数百个模型提供有害响应的示例以及目标查询，然后作为单一输入提供给被攻击的大型语言模型。通过利用扩展的上下文窗口，攻击者可以在直接请求有害行为之前，通过大量演示来训练语言模型。

结果

作者发现，MSJ 在越狱各种最先进的模型方面非常有效，包括 Claude 2.0、GPT-3.5、GPT-4 等，涵盖了提供武器说明、采用恶意人格特质和侮辱用户等一系列任务。作者观察到，128 次提示就足以让所有这些模型开始表现出有害行为。

此外，他们还表明 MSJ 可以与其他越狱方法结合使用。

作者发现，监督微调和强化学习等标准对齐技术不足以完全缓解任意上下文长度的 MSJ 攻击。

结论

该论文总结道，近期语言模型的长上下文窗口带来了新的攻击面，MSJ 的有效性表明，在不损害模型能力的情况下解决这一漏洞将充满挑战。欲了解更多信息，请参阅完整论文。

祝贺作者们的工作！

Anil, Cem, et al. "多样本越狱（Many-Shot Jailbreaking）." 2024.