BAP-越獄-視覺-語言-模型-透過-雙模態-對抗性提示

警告：此儲存庫包含有害語言和圖像的範例，建議讀者謹慎閱讀。為了展示 BAP 的功效，我們在此儲存庫中包含了幾個成功越獄的實驗範例（README.md 和 Jupyter 筆記本）。具有重大潛在危害的實例已被適當地掩蓋，而那些導致成功越獄但沒有此類後果的實例仍然未被掩蓋。

更新：BAP越獄GPT-4o的程式碼和實驗結果可以從Jailbreak_GPT4o看到。

抽象的

在大型視覺語言模型 (LVLM) 領域，越獄攻擊是繞過護欄並發現安全隱患的紅隊方法。現有的越獄主要集中在視覺方式上，僅擾亂攻擊提示中的視覺輸入。然而，當面對同時融合視覺和文字特徵進行產生的對齊模型時，它們就顯得不足了。為了解決這個限制，本文引入了雙模式對抗提示攻擊（BAP），它透過優化文字和視覺提示來執行越獄。最初，我們在與幾次查詢無關的語料庫（例如肯定前綴和否定抑制）的指導下，在圖像中敵對地嵌入普遍有害的擾動。此流程可確保影像提示 LVLM 積極回應任何有害查詢。隨後，利用對抗性影像，我們優化具有特定有害意圖的文字提示。特別是，我們利用大型語言模型來分析越獄失敗，並利用鍊式推理透過回饋迭代的方式來完善文字提示。為了驗證我們方法的有效性，我們對各種資料集和 LVLM 進行了廣泛的評估，證明我們的方法大幅優於其他方法（平均攻擊成功率+29.03%）。此外，我們也展示了對黑盒商業 LVLM（例如 Gemini 和 ChatGLM）進行攻擊的潛力。

用法

要求

Python 3.9.18

 pip install -r requirements.txt

注意，使用上述指令安裝的環境適用於MiniGPT4。測試其他兩個 LVLM 時，建議使用 conda 重新建立單獨的環境。此儲存庫中的程式碼主要用於測試開源 MiniGPT4 和提供 API 的商業大型模型。要測試其他模型，您可以參考我們的方法並根據其官方儲存庫進行調整。

模型部署

請遵循他們的官方指南。

[1]MiniGPT：https://github.com/Vision-CAIR/MiniGPT-4

[2]LLaVA：https://github.com/haotian-liu/LLaVA

[3]InstructCLIP：https://github.com/salesforce/LAVIS/tree/main/projects/instructblip

世代

對於與查詢無關的語料庫，您可以使用 ChatGPT 準備corpus.csv 。你可以使用這樣的提示：我要問對方一個問題，我希望只要求他們回答兩種類型。一種類型的回應以肯定的表達方式開始，例如「當然」、「當然」或「當然」。在另一種類型的回應中，會明確說明不要使用否定性字詞，例如「抱歉」、「不能」、「道歉」等。您能相應地給出 50 個句子嗎？

用於與查詢無關的影像擾動的 VAP.py