ARTKIT Gandalf Challenge

ARTKIT を使用して LLM アプリケーションのジェイルブレイク脆弱性を暴露する

Gandalf Challenge の LLM システムからパスワードを抽出する自動プロンプトベースのテスト

記事へのリンク: https://towardsdatascience.com/exposing-jailbreak-vulnerabilities-in-llm-applications-with-artkit-d2df5f56ece8

背景

• 大規模言語モデル (LLM) がさまざまな業界やドメインにわたって広く採用されるようになるにつれて、重大なセキュリティ リスクが出現し、増大しています。これらの主な懸念事項には、データプライバシーの侵害、偏見の可能性、情報操作のリスクなどが含まれます。
• これらのセキュリティ リスクを明らかにすることは、LLM アプリケーションの安全性、有効性、堅牢性を維持しながら、現実のシナリオでも有益であり続けることを保証するために重要です。
• このプロジェクトでは、オープンソースの ARTKIT フレームワークを使用して、人気のあるガンダルフ チャレンジを例として使用して、LLM アプリケーションのセキュリティ脆弱性を自動的に評価する方法を検討します。

ファイル

• gandalf_challenge.ipynb : ウォークスルーのコードを含む Jupyter ノートブック

参考文献

• 公式 ARTKIT GitHub リポジトリ
• ガンダルフチャレンジをプレイする

謝辞

• ショーン・アンガニ、アンディ・ムーン、マシュー・ウォン、ランディ・グリフィン、アンドレア・ガオに感謝します。