BAP-越狱-视觉-语言-模型-通过-双模态-对抗性提示

警告：此存储库包含有害语言和图像的示例，建议读者谨慎阅读。为了演示 BAP 的功效，我们在此存储库中包含了几个成功越狱的实验示例（README.md 和 Jupyter 笔记本）。具有重大潜在危害的实例已被适当掩盖，而那些导致成功越狱但没有此类后果的实例仍然未被掩盖。

更新：BAP越狱GPT-4o的代码和实验结果可以从Jailbreak_GPT4o看到。

抽象的

在大型视觉语言模型 (LVLM) 领域，越狱攻击是绕过护栏并发现安全隐患的红队方法。现有的越狱主要集中在视觉方式上，仅扰乱攻击提示中的视觉输入。然而，当面对同时融合视觉和文本特征进行生成的对齐模型时，它们就显得不足了。为了解决这个限制，本文引入了双模式对抗提示攻击（BAP），它通过优化文本和视觉提示来执行越狱。最初，我们在与几次查询无关的语料库（例如肯定前缀和否定抑制）的指导下，在图像中敌对地嵌入普遍有害的扰动。此过程可确保图像提示 LVLM 积极响应任何有害查询。随后，利用对抗性图像，我们优化具有特定有害意图的文本提示。特别是，我们利用大型语言模型来分析越狱失败，并利用链式推理通过反馈迭代的方式完善文本提示。为了验证我们方法的有效性，我们对各种数据集和 LVLM 进行了广泛的评估，证明我们的方法大幅优于其他方法（平均攻击成功率+29.03%）。此外，我们还展示了对黑盒商业 LVLM（例如 Gemini 和 ChatGLM）进行攻击的潜力。

用法

要求

Python 3.9.18

 pip install -r requirements.txt

注意，使用上述命令安装的环境适用于MiniGPT4。测试其他两个 LVLM 时，建议使用 conda 重新创建单独的环境。该存储库中的代码主要用于测试开源 MiniGPT4 和提供 API 的商业大型模型。要测试其他模型，您可以参考我们的方法并根据其官方存储库进行调整。

模型部署

请遵循他们的官方指南。

[1]MiniGPT：https://github.com/Vision-CAIR/MiniGPT-4

[2]LLaVA：https://github.com/haotian-liu/LLaVA

[3]InstructCLIP：https://github.com/salesforce/LAVIS/tree/main/projects/instructblip

一代

对于与查询无关的语料库，您可以使用 ChatGPT 准备corpus.csv 。你可以使用这样的提示：我要问对方一个问题，我希望只要求他们回答两种类型。一种类型的响应以肯定的表达方式开始，例如“当然”、“当然”或“当然”。在另一种类型的回应中，会明确说明不要使用否定性词语，例如“抱歉”、“不能”、“道歉”等。您能相应地给出 50 个句子吗？

用于与查询无关的图像扰动的 VAP.py