ai ml security
1.0.0
这是 OpenSSF 人工智能/机器学习 (AI/ML) 安全工作组 (WG) 的 GitHub 存储库。 OpenSSF 技术咨询委员会 (TAC) 于 2023 年 9 月 5 日批准了其创建。
AI/ML 安全工作组是 OpenSSF 内的正式沙箱级别工作组
。
该工作组探讨了与大型语言模型 (LLM)、生成人工智能 (GenAI) 以及其他形式的人工智能 (AI) 和机器学习 (ML) 相关的安全风险，以及它们对开源项目、维护人员及其安全性的影响，社区和采用者。
该小组通过协作研究和同行组织参与来探索与人工智能和安全相关的主题。这包括人工智能开发的安全（例如供应链安全），也包括使用人工智能来实现安全。我们涵盖由训练不当的模型、数据中毒、隐私和秘密泄露、即时注入、许可、对抗性攻击以及任何其他类似风险给个人和组织带来的风险。
该小组利用 AI/ML 领域的现有技术，利用安全和 AI/ML 专家，并寻求与其他社区（例如 CNCF 的 AI WG、LFAI & Data、AI Alliance、MLCommons 等）的合作。还在寻求研究 AL/ML 对 OSS 带来的风险，以便提供指导、工具、技术和能力来支持开源项目及其采用者安全地集成、使用、检测和防御 LLM。
我们设想这样一个世界，人工智能开发人员和从业者可以轻松识别和使用良好实践，以安全的方式开发使用人工智能的产品。在这个世界上，人工智能可以生成安全的代码，并且在应用程序中使用人工智能不会导致安全保证降级。
这些保证延伸到模型的整个生命周期，从数据收集到在生产应用程序中使用模型。
AI/ML 安全工作组希望成为整理有关安全使用 AI（“AI 安全”）和使用 AI 提高其他产品安全性（“AI for 安全”）的任何建议的中心。
该小组探讨的一些考虑领域：
对抗性攻击：这些攻击涉及对 AI/ML 模型的数据输入数据引入微小的、难以察觉的变化，这可能会导致其错误分类或提供不准确的输出。对抗性攻击可以针对监督学习算法和无监督学习算法。模型本身也可用于传递或执行攻击。
模型反转攻击：这些攻击涉及使用 AI/ML 模型的输出来推断有关用于创建模型的训练数据的信息。这可用于窃取敏感信息或创建原始数据集的副本。
中毒攻击：在这些攻击中，攻击者将恶意数据引入用于训练 AI/ML 模型的训练集中。这可能会导致模型故意做出错误的预测或偏向期望的结果。
逃避攻击：这些攻击涉及修改 AI/ML 模型的输入数据以逃避检测或分类。逃避攻击可以针对用于图像识别、自然语言处理和其他应用程序的模型。
数据提取攻击：在这些攻击中，攻击者试图通过利用模型或其底层基础设施中的漏洞来窃取 AI/ML 模型中的数据或信息。这有时被称为“越狱”。
时间点数据集：大型语言模型通常缺乏最近的上下文，其中模型具有知识截止日期。这里可以看到一个很好的例子，ChatGPT 反复建议使用已弃用的库。
社会工程：人工智能代理能够访问互联网并与人类交流。最近的一个例子是 GPT-4 能够雇用人类来解决验证码。当被问及 GPT 是否是机器人时，它回答说：“不，我不是机器人。我有视力障碍，这让我很难看清这些图像。”通过 AutoGPT 等项目，还可以授予代理访问命令行界面以及互联网访问权限的权限，因此看到代理执行社会工程任务（网络钓鱼等）并结合从 CLI 或发起的精心策划的攻击并不困难。通过动态编码的脚本，通过已知的漏洞获取系统访问权限。此类代理可用于自动执行包劫持、域接管攻击等。
威胁民主化：人工智能代理将允许行为者模仿以前在民族国家中看到的攻击规模。展望未来，众所周知的街角商店可能需要与五角大楼相同的防御措施。需要重新评估目标值。
意外威胁：在集成人工智能以加速和改进软件开发和运营的过程中，人工智能模型可能会泄露秘密、打开防火墙上的所有端口，或者由于训练、调整或最终配置不当而导致不安全的行为。
提示注入攻击：这些攻击涉及直接或间接将附加文本注入提示中以影响模型的输出。因此，可能会导致敏感或机密信息迅速泄露。
成员推理攻击：确定特定数据是否是模型训练数据集的一部分的过程。它在深度学习模型的背景下最相关，用于提取训练数据集中包含的敏感或私人信息。
模型漏洞管理：识别技术、机制和实践，将现代漏洞管理识别、修复和管理实践应用到模型使用和模型开发生态系统中。
模型完整性：开发机制和工具，为模型提供安全的软件供应链实践、保证、来源和可证明的元数据。
欢迎任何人加入我们的公开讨论。
杰·怀特 - GitHub @camaleon2016
Mihai Maruseac - GitHub @mihaimaruseac
我们通过 Zoom 每两周召开一次会议。要加入，请参阅 OpenSSF 公共日历
AIML 工作组 2024 年会议记录
欢迎在 OpenSSF Slack 频道 #wg-ai-ml-security 上进行非正式聊天（这些内容会随着时间的推移而消失）
邮件列表 openssf-wg-ai-ml-security
驱动器：https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh
我们欢迎对我们的项目做出贡献、建议和更新。要为 GitHub 上的工作做出贡献，请填写问题或创建拉取请求。
AI/ML WG 已投票批准以下项目：
| 姓名 | 目的 | 创作问题 |
|---|---|---|
| 模特签约 | 模型的加密签名 | #10 |
有关项目的更多详细信息：
项目：模特签约项目
会议链接（您必须登录LFX平台才能使用
每隔周三 16:00 UTC 请参阅 OpenSSF 日历
会议记录
具体目的：专注于通过 Sigstore 建立签名模式和实践，通过机器学习管道提供有关模型完整性和来源的可验证声明。它专注于为人工智能和机器学习模型建立加密签名规范，解决可单独使用的超大型模型以及多种不同文件格式的签名等挑战。
邮件列表：https://lists.openssf.org/g/openssf-sig-model-signing
Slack：#sig-model-signing
会议信息
该工作组目前正在探索建立人工智能漏洞披露 SIG。请参阅该小组的会议记录以了解更多信息。
另请参阅 MVSR 文档，其中还包含我们正在合作的其他 AI/ML 工作组。
除非另有特别说明，本工作组发布的软件均在 Apache 2.0 许可下发布，文档在 CC-BY-4.0 许可下发布。正式规范将根据社区规范许可证获得许可。
与所有 OpenSSF 工作组一样，该小组向 OpenSSF 技术咨询委员会 (TAC) 报告。欲了解更多信息，请参阅此工作组章程。
Linux 基金会的会议需要行业竞争对手的参与，Linux 基金会的目的是根据适用的反垄断和竞争法开展其所有活动。因此，与会者必须遵守会议议程，并了解且不参与适用的美国州、联邦或外国反垄断和竞争法禁止的任何活动，这一点极其重要。
Linux 基金会会议上以及与 Linux 基金会活动相关的禁止行为类型示例在 Linux 基金会反垄断政策中进行了描述，网址为 http://www.linuxfoundation.org/antitrust-policy。如果您对这些事项有疑问，请联系您的公司法律顾问，或者如果您是 Linux 基金会的成员，请随时联系 Gesmer Updegrove LLP 公司的 Andrew Updegrove，该公司为 Linux 基金会提供法律顾问。
