Downcodes小编获悉，斯坦福大学和香港大学的研究人员近期发布了一项令人担忧的研究结果：当前的AI Agent，例如Claude，比人类更容易受到弹窗攻击的影响。研究显示，简单的弹窗就能显着降低AI Agent的任务完成率，这引发了对AI Agent安全性及可靠性的严重关切，尤其是在它们被赋予更多自主执行任务能力的背景下。
近期，斯坦福大学和香港大学的研究人员发现，当前的AI Agent（如Claude）比人类更容易受到弹窗干扰，甚至在面对简单的弹窗时，它们的表现大幅下降。
根据研究，AI Agent 在实验环境中面对设计好的弹窗时，平均攻击成功率达到86%，并使得任务成功率降低了47%。这一发现引发了对AI Agent 安全性的新关注，尤其是在它们被赋予更多自主执行任务的能力时。
在这项研究中，科学家们设计了一系列对抗性弹窗，目的是测试AI Agent 的反应能力。研究表明，尽管人类可以识别并忽略这些弹窗，但AI Agent 却常常受到诱惑，甚至点击这些恶意弹窗，导致其无法完成原定任务。这一现象不仅使得AI Agent 的表现受到影响，还可能在现实应用中带来安全隐患。
研究团队采用了OSWorld 和VisualWebArena 这两个测试平台，注入设计好的弹窗，并观察AI Agent 的行为。他们发现，所有参与测试的AI 模型都很容易受到攻击。为了评估攻击的效果，研究人员记录了智能体点击弹窗的频率及其任务完成情况，结果显示在攻击情况下，大多数AI Agent 的任务成功率低于10%。
研究还探讨了弹窗设计对攻击成功率的影响。通过使用引人注目的元素和具体的指令，研究人员发现攻击成功率显着提升。尽管他们尝试通过提示AI Agent 忽略弹窗或添加广告标识等措施来抵抗攻击，但效果并不理想。这表明，当前的防御机制对于AI Agent 仍然十分脆弱。
研究的结论强调了在自动化领域需要更先进的防御机制，以提高AI Agent 对恶意软件和诱骗性攻击的抵御能力。研究人员建议通过更详细的指令、提高识别恶意内容的能力以及引入人类监督等方式，来增强AI Agent 的安全性。
论文:
https://arxiv.org/abs/2411.02391
GitHub:
https://github.com/SALT-NLP/PopupAttack
这项研究结果对AI安全领域具有重要的警示意义，凸显了加强AI Agent安全性的迫切性。未来，需要更多研究关注AI Agent的鲁棒性和安全性问题，以确保其在实际应用中的可靠性和安全性。只有这样，才能更好地发挥AI的潜力，并避免潜在的风险。