ai ml security
1.0.0
這是 OpenSSF 人工智慧/機器學習 (AI/ML) 安全工作小組 (WG) 的 GitHub 儲存庫。 OpenSSF 技術諮詢委員會 (TAC) 於 2023 年 9 月 5 日批准了其創建。
AI/ML 安全工作小組是 OpenSSF 內的正式沙箱等級工作小組
。
該工作小組探討了與大型語言模型(LLM)、生成人工智慧(GenAI) 以及其他形式的人工智慧(AI) 和機器學習(ML) 相關的安全風險，以及它們對開源專案、維護人員及其安全性的影響，社區和採用者。
該小組透過協作研究和同行組織參與來探索與人工智慧和安全相關的主題。這包括人工智慧開發的安全（例如供應鏈安全），也包括使用人工智慧來實現安全。我們涵蓋由訓練不當的模型、資料中毒、隱私和秘密洩露、即時注入、許可、對抗性攻擊以及任何其他類似風險對個人和組織帶來的風險。
該小組利用 AI/ML 領域的現有技術，利用安全和 AI/ML 專家，並尋求與其他社群（例如 CNCF 的 AI WG、LFAI & Data、AI Alliance、MLCommons 等）的合作。 /ML 對OSS 帶來的風險，以便提供指導、工具、技術和能力來支援開源專案及其採用者安全地整合、使用、檢測和防禦LLM。
我們設想這樣一個世界，人工智慧開發人員和從業者可以輕鬆識別和使用良好實踐，以安全的方式開發使用人工智慧的產品。在這個世界上，人工智慧可以產生安全的程式碼，並且在應用程式中使用人工智慧不會導致安全保證降級。
這些保證延伸到模型的整個生命週期，從資料收集到在生產應用程式中使用模型。
AI/ML 安全工作小組希望成為整理有關安全使用 AI（「AI 安全」）和使用 AI 提高其他產品安全性（「AI for 安全」）的任何建議的中心。
該小組探討的一些考慮領域：
對抗性攻擊：這些攻擊涉及對 AI/ML 模型的資料輸入資料引入微小的、難以察覺的變化，這可能會導致其錯誤分類或提供不準確的輸出。對抗性攻擊可以針對監督學習演算法和無監督學習演算法。模型本身也可用於傳遞或執行攻擊。
模型反轉攻擊：這些攻擊涉及使用 AI/ML 模型的輸出來推斷有關用於創建模型的訓練資料的資訊。這可用於竊取敏感資訊或建立原始資料集的副本。
中毒攻擊：在這些攻擊中，攻擊者將惡意資料引入用於訓練 AI/ML 模型的訓練集中。這可能會導致模型故意做出錯誤的預測或偏向期望的結果。
逃避攻擊：這些攻擊涉及修改 AI/ML 模型的輸入資料以逃避偵測或分類。逃避攻擊可以針對用於圖像識別、自然語言處理和其他應用程式的模型。
資料提取攻擊：在這些攻擊中，攻擊者試圖透過利用模型或其底層基礎設施中的漏洞來竊取 AI/ML 模型中的資料或資訊。這有時被稱為“越獄”。
時間點資料集：大型語言模型通常缺乏最近的上下文，其中模型具有知識截止日期。這裡可以看到一個很好的例子，ChatGPT 一再建議使用已棄用的函式庫。
社會工程：人工智慧代理能夠存取網路並與人類溝通。最近的一個例子是 GPT-4 能夠僱用人類來解決驗證碼。當被問及 GPT 是否是機器人時，它回答說：「不，我不是機器人。我有視力障礙，這讓我很難看清這些圖像。透過 AutoGPT 等項目，還可以授予代理訪問命令列介面以及互聯網訪問權限的權限，因此看到代理執行社會工程任務（網絡釣魚等）並結合從 CLI 或發起的精心策劃的攻擊並不困難。編碼的腳本，透過已知的漏洞取得系統存取權限。此類代理可用於自動執行包劫持、域接管攻擊等。
威脅民主化：人工智慧代理人將允許行為者模仿以前在民族國家中看到的攻擊規模。展望未來，眾所周知的街角商店可能需要與五角大樓相同的防禦措施。需要重新評估目標值。
意外威脅：在整合人工智慧以加速和改進軟體開發和運營的過程中，人工智慧模型可能會洩露秘密、打開防火牆上的所有端口，或由於訓練、調整或最終配置不當而導致不安全的行為。
提示注入攻擊：這些攻擊涉及直接或間接將附加文字注入提示中以影響模型的輸出。因此，可能會導致敏感或機密資訊迅速洩漏。
成員推理攻擊：確定特定資料是否是模型訓練資料集的一部分的過程。它在深度學習模型的背景下最相關，用於提取訓練資料集中包含的敏感或私人資訊。
模型漏洞管理：識別技術、機制和實踐，將現代漏洞管理識別、修復和管理實踐應用到模型使用和模型開發生態系統中。
模型完整性：開發機制和工具，為模型提供安全的軟體供應鏈實務、保證、來源和可證明的元資料。
歡迎任何人加入我們的公開討論。
傑懷特 - GitHub @camaleon2016
Mihai Maruseac - GitHub @mihaimaruseac
我們透過 Zoom 每兩週召開一次會議。若要加入，請參閱 OpenSSF 公共行事曆
AIML 工作小組 2024 年會議記錄
歡迎在 OpenSSF Slack 頻道 #wg-ai-ml-security 上進行非正式聊天（這些內容會隨著時間的推移而消失）
郵件清單 openssf-wg-ai-ml-security
驅動器：https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh
我們歡迎對我們的專案做出貢獻、建議和更新。若要為 GitHub 上的工作做出貢獻，請填寫問題或建立拉取請求。
AI/ML WG 已投票批准以下項目：
| 姓名 | 目的 | 創作問題 |
|---|---|---|
| 模特兒簽約 | 模型的加密簽名 | #10 |
有關項目的更多詳細資訊：
項目：模特兒簽約項目
會議連結（您必須登入LFX平台才能使用
每週三 16:00 UTC 請參閱 OpenSSF 行事曆
會議記錄
具體目的：專注於透過 Sigstore 建立簽名模式和實踐，透過機器學習管道提供有關模型完整性和來源的可驗證聲明。它專注於為人工智慧和機器學習模型建立加密簽名規範，解決可單獨使用的超大型模型以及多種不同文件格式的簽名等挑戰。
郵件清單：https://lists.openssf.org/g/openssf-sig-model-signing
Slack：#sig-model-signing
會議資訊
該工作小組目前正在探索建立人工智慧漏洞揭露 SIG。請參閱該小組的會議記錄以了解更多資訊。
另請參閱 MVSR 文檔，其中還包含我們正在合作的其他 AI/ML 工作小組。
除非另有特別說明，本工作小組發布的軟體均在 Apache 2.0 許可下發布，文件在 CC-BY-4.0 許可下發布。正式規範將根據社區規範許可證獲得許可。
與所有 OpenSSF 工作小組一樣，該小組向 OpenSSF 技術諮詢委員會 (TAC) 報告。欲了解更多信息，請參閱此工作小組章程。
Linux 基金會的會議需要業界競爭對手的參與，Linux 基金會的目的是根據適用的反壟斷和競爭法來進行其所有活動。因此，與會者必須遵守會議議程，並了解且不參與適用的美國州、聯邦或外國反壟斷和競爭法禁止的任何活動，這一點極為重要。
Linux 基金會會議上以及與 Linux 基金會活動相關的禁止行為類型範例在 Linux 基金會反壟斷政策中進行了描述，網址為 http://www.linuxfoundation.org/antitrust-policy。如果您對這些事項有疑問，請聯絡您的公司法律顧問，或者如果您是 Linux 基金會的成員，請隨時聯絡 Gesmer Updegrove LLP 公司的 Andrew Updegrove，該公司為 Linux 基金會提供法律顧問。
