genai attacks
1.0.0
| ? | GenAI 攻撃マトリックスは、GenAI ベースのシステム、副操縦士、およびエージェントをターゲットにするために使用される TTP に関する知識源です。 |
|---|
GenAI は、今日、私たち全員が依存している世界最大の企業内で考えられるあらゆる問題に適用されています。私たちは皆、AI を導入し、その恩恵を真っ先に享受できるよう、できるだけ早く取り組んでいます。企業は AI プラットフォームを導入し、カスタマイズし、独自のプラットフォームを構築しています。同時に、GenAI を使用して安全なシステムを構築する方法がまだわかっていないことがますます明らかになってきています。新しい攻撃手法、モデル、その機能に関する最新の研究が毎週発表され、変化し続けており、緩和策も同様のペースで展開されています。
GenAI がユーザーに代わってユーザーの ID を使用して推論できるようにすることで、攻撃者がユーザーではなく AI システムをターゲットにして同様の結果を得ることができる新しい攻撃ベクトルを開拓しました。彼らは、悪意のある指示を含む Promptware を使用してこれを実行します。 Promptware は通常、コードを実行しません。代わりにツールを実行し、それを自然言語を使用してプログラムに合成して、同等の効果を実現します。
マルウェアと戦うための私たちの最初の集団的な試みは、そこに存在するすべての既知のマルウェアを列挙しようとするウイルス対策ソフトウェアでした。私たちはプロンプトウェアでも同じアプローチを採用し、不適切なプロンプトを列挙することで問題を解決しようとしました。これは機能しません。また、プロンプト インジェクションも簡単に解決できる問題ではありません。むしろ、それは私たちが管理できる問題です。 EDR から学んで、悪意のある静的コンテンツではなく悪意のある動作に焦点を当てた多層防御アプローチを採用する必要があります。このプロジェクトの目標は、これらの動作に関する知識を文書化して共有し、プロンプトウェア攻撃のライフサイクル全体でプロンプト インジェクションを超えて検討することです。
このプロジェクトは、MITRE ATT&CK や、M365、コンテナ、SaaS への攻撃アプローチの適用に成功した他の人々の素晴らしい成果からインスピレーションを受けました。
| ☝️ | .jsonファイルを編集したり、ブラウザで直接新しいファイルを作成したりして、簡単に投稿できます。 |
|---|
次のディレクトリ内のファイルを編集または追加して、ナレッジ ベースを改善します。
|
--| tactic
--| technique
--| procedure
--| entity
--| platform
--| mitigation
ファイルスキーマとその仕組み:
mainにマージされると、Web サイトは数分以内に自動的に更新されます。追加のリソースとドキュメントを確認してください。
