genai attacks
1.0.0
? | GenAI 攻擊矩陣是有關用於針對基於 GenAI 的系統、副駕駛和代理的 TTP 的知識來源 |
---|
GenAI 正在應用於當今世界上最大的企業中每個可以想像的問題,這是我們都依賴的。我們都在盡快採用人工智慧並首先獲得其好處。公司正在採用人工智慧平台,對其進行客製化並建立自己的平台。同時,越來越明顯的是,我們還不知道如何使用 GenAI 建立安全系統。每週都會有關於新攻擊技術、模型及其功能的新研究不斷變化,緩解措施也以類似的速度推出。
透過讓 GenAI 代表我們用戶的身份進行推理,我們開闢了一個新的攻擊媒介,對手可以針對我們的人工智慧系統而不是我們的用戶來獲得類似的結果。他們使用 Promptware 來做到這一點,滿足於惡意指令。 Promptware 通常不會執行程式碼,而是執行工具並用自然語言將它們組合成程序,以達到相同的效果。
我們對抗惡意軟體的第一個集體嘗試是防毒軟體,它試圖列舉所有已知的惡意軟體。我們對提示軟體採取了相同的方法,試圖透過列舉錯誤的提示來解決問題。這是行不通的,提示注入也不是我們可以簡單解決的問題。相反,這是我們可以解決的問題。向 EDR 學習,我們需要採用專注於惡意行為而不是惡意靜態內容的深度防禦方法。該專案的目標是記錄和分享這些行為的知識,並超越提示注入,專注於提示軟體攻擊的整個生命週期。
該專案的靈感來自其他人的出色工作:MITRE ATT&CK 以及其他成功地將攻擊方法應用於 M365、容器和 SaaS 的人。
☝️ | 您可以編輯任何.json 文件或直接在瀏覽器中建立新文件,以便輕鬆做出貢獻! |
---|
透過在這些目錄中編輯或新增檔案來改進我們的知識庫:
|
--| tactic
--| technique
--| procedure
--| entity
--| platform
--| mitigation
文件架構及其運作原理:
main
,網站將在幾分鐘內自動更新。查看其他資源和文件: