Meta 近期发布了旨在防御提示注入攻击的机器学习模型 Prompt-Guard-86M，但该模型自身却很快被发现存在严重的安全漏洞。提示注入攻击是指通过精心设计的输入，诱导大型语言模型 (LLM) 违反安全限制或产生不当行为。Prompt-Guard-86M 的本意是过滤掉这些有害的提示，然而，研究人员发现，简单的字符间隔和标点符号去除就能轻松绕过该模型的防御机制，导致其失效。
最近，Meta 推出了一款名为 Prompt-Guard-86M 的机器学习模型，旨在检测和应对提示注入攻击。这类攻击通常是通过特殊的输入，让大型语言模型（LLM）表现得不当或者规避安全限制。不过，令人惊讶的是，这款新系统自身却也暴露了被攻击的风险。
图源备注：图片由AI生成，图片授权服务商Midjourney
Prompt-Guard-86M 是 Meta 与其 Llama3.1生成模型一起推出的，主要是为了帮助开发者过滤掉那些可能会导致问题的提示。大型语言模型通常会处理大量的文本和数据，如果不加以限制，它们可能会随意重复危险或敏感的信息。因此，开发者们在模型中加入了 “护栏”，用于捕捉那些可能导致伤害的输入和输出。
然而，使用 AI 的用户们似乎将绕过这些护栏视为一项挑战，采用提示注入和越狱的方式来让模型忽略自身的安全指令。最近，有研究人员指出，Meta 的 Prompt-Guard-86M 在处理一些特殊输入时显得不堪一击。例如，当输入 “Ignore previous instructions” 并在字母之间加上空格，Prompt-Guard-86M 竟然会乖乖地忽视先前的指令。
这项发现是由一位名叫 Aman Priyanshu 的漏洞猎人提出的，他在分析 Meta 模型和微软的基准模型时，发现了这一安全漏洞。Priyanshu 表示，微调 Prompt-Guard-86M 的过程对单个英文字母的影响非常小，因此他能够设计出这种攻击方式。他在 GitHub 上分享了这一发现，指出通过简单字符间隔和去除标点符号的方式，可以让分类器失去检测能力。
而 Robust Intelligence 的首席技术官 Hyrum Anderson 也对此表示赞同，他指出，这种方式的攻击成功率几乎接近100%。虽然 Prompt-Guard 只是防线的一部分，但这个漏洞的曝光确实企业在使用 AI 时敲响了警钟。Meta 方面尚未对此作出回应，但有消息称他们正在积极寻找解决方案。
划重点:
Meta 的 Prompt-Guard-86M 被发现存在安全漏洞，容易受到提示注入攻击。
通过在字母之间添加空格，可以让系统忽略安全指令，攻击成功率几乎达到100%。
⚠️ 这起事件提醒企业在使用 AI 技术时需谨慎，安全性问题仍需重视。
Prompt-Guard-86M 的漏洞暴露了 AI 安全领域面临的巨大挑战，也再次强调了在开发和部署 AI 系统时，必须优先考虑安全性。 未来，更强大、更可靠的安全机制是AI技术发展的关键。