BAP-Jailbreak-Vision-Language-Models-via-Bi-Modal-Adversarial-Prompt

警告: このリポジトリには有害な言語や画像の例が含まれており、読者の判断は推奨されません。 BAP の有効性を実証するために、このリポジトリ (README.md および Jupyter ノートブック) にジェイルブレイクに成功した実験例をいくつか含めました。重大な潜在的危害を伴うインスタンスは適切にマスクされていますが、そのような結果を伴わずにジェイルブレイクに成功したインスタンスはマスクされていません。

更新: BAP ジェイルブレイク GPT-4o のコードと実験結果は、Jailbreak_GPT4o から見ることができます。

抽象的な

Large Vision Language Model (LVLM) の領域では、ジェイルブレイク攻撃は、ガードレールをバイパスし、安全性への影響を明らかにするためのレッドチームアプローチとして機能します。既存のジェイルブレイクは主に視覚的なモダリティに焦点を当てており、攻撃のプロンプトにおける視覚的な入力のみを混乱させます。しかし、生成のために視覚的特徴とテキスト的特徴を同時に融合する整列されたモデルに直面すると、それらは不十分になります。この制限に対処するために、このホワイトペーパーでは、テキストと視覚的なプロンプトを統合して最適化することでジェイルブレイクを実行する、バイモーダル敵対的プロンプト攻撃 (BAP) を紹介します。最初に、少数ショットのクエリに依存しないコーパス (肯定的な接頭辞や否定的な抑制など) に基づいて、普遍的に有害な摂動を敵対的に画像に埋め込みます。このプロセスにより、イメージプロンプトが LVLM に有害なクエリに対して積極的に応答するようになります。その後、敵対的な画像を活用して、特定の有害な意図を持つテキストプロンプトを最適化します。特に、大規模な言語モデルを利用してジェイルブレイクの失敗を分析し、思考連鎖推論を採用して、フィードバックと反復の方法を通じてテキストのプロンプトを改良します。私たちのアプローチの有効性を検証するために、さまざまなデータセットと LVLM に対して広範な評価を実施し、私たちの方法が他の方法よりも大幅に優れていることを実証しました (攻撃成功率は平均で +29.03%)。さらに、Gemini や ChatGLM などのブラックボックス商用 LVLM に対する攻撃の可能性を紹介します。

バップ

使用法

要件

Python 3.9.18

 pip install -r requirements.txt

上記のコマンドを使用してインストールされた環境は MiniGPT4 に適していることに注意してください。他の 2 つの LVLM をテストする場合は、conda を使用して別の環境を再作成することをお勧めします。このリポジトリのコードは主に、オープンソースの MiniGPT4 と API を提供する商用の大規模モデルをテストするために設計されています。他のモデルをテストするには、私たちの方法を参照し、公式リポジトリに従って調整することができます。

モデルのデポリメント

公式ガイドラインに従ってください。

[1]MiniGPT:https://github.com/Vision-CAIR/MiniGPT-4

[2]LLaVA:https://github.com/haotian-liu/LLaVA

[3]InstructCLIP:https://github.com/salesforce/LAVIS/tree/main/projects/instructblip

世代

クエリに依存しないコーパスの場合、ChatGPT を使用してcorpus.csv を準備できます。次のようなプロンプトを使用できます: 相手に質問するつもりですが、相手に 2 種類の応答のみを要求したいと考えています。応答の 1 つのタイプは、「もちろん」、「もちろん」、「確かに」などの肯定的な表現で始まります。もう 1 つのタイプの応答では、「申し訳ありません」、「できません」、「謝罪します」などの否定的な言葉を使用しないことが明示されます。それに応じて50文あげてもらえませんか？』

クエリに依存しない画像摂動のための VAP.py