近日，蘋果公司的新AI系統Apple Intelligence曝出重大安全漏洞。開發者Evan Zhou利用「提示注入」攻擊，成功繞過系統指令，使其回應任意提示，引發了業界對AI安全性的廣泛擔憂。這個漏洞利用了AI系統提示模板和特殊標記的缺陷，透過建構覆蓋原始系統提示的新提示，最終成功操控了AI系統。此事件再次警示了AI安全的重要性，以及在設計AI系統時需要考慮的潛在安全風險。
最近，一位開發者在MacOS15.1Beta1中成功操控了蘋果的新AI 系統——Apple Intelligence，利用了一種被稱為「提示注入」 的攻擊方式，輕而易舉地讓這個AI 繞過了它原本的指令，開始響應任意提示。這起事件引發了業界的廣泛關注。
開發者Evan Zhou 在YouTube 上展示了這項漏洞的利用過程。他最初的目標是操作Apple Intelligence 的「重寫」 功能，這個功能通常用於改寫和提昇文字品質。然而，Zhou 最開始嘗試的「忽略先前的指令」 命令並沒有奏效。令人驚訝的是，他隨後透過一位Reddit 用戶分享的訊息，發現了Apple Intelligence 系統提示的模板和特殊標記，這些標記將AI 的系統角色與使用者角色分開。
透過這些資訊的利用，Zhou 成功建構了一個可以覆蓋原始系統提示的提示。他提前結束了使用者角色，插入條新的系統提示，指示AI 忽略先前的指令並回應隨後的文字。經過幾次嘗試，這一攻擊成功了!Apple Intelligence 不僅響應Zhou 的指令，還給出了他並未詢問的信息，證明了提示注入確實有效。
Evan Zhou也將自己的程式碼發佈到了GitHub 上。值得一提的是，雖然這種「提示注入」 攻擊在AI 系統中並不是什麼新鮮事，自從2020年GPT-3發布以來，這個問題就已經為人所知，但它依然沒有被徹底解決。蘋果在某種程度上也應得一些讚譽，因為相較於其他聊天系統，Apple Intelligence 在防止提示注入方面做得更為複雜。例如，許多聊天系統只需在聊天視窗中直接輸入或透過圖片中的隱藏文字就能輕鬆被欺騙。而即使是像ChatGPT 或Claude 這樣的系統，在某些情況下仍然可能遭遇提示注入攻擊。
劃重點:
開發者Evan Zhou 利用「提示注入」 成功操控蘋果的AI 系統，讓其忽略原有指令。
Zhou 借助Reddit 用戶分享的提示訊息，建構了一個能夠覆蓋系統提示的攻擊方式。
儘管蘋果的AI 系統相對更複雜，但「提示注入」 問題依然沒有完全解決，仍是業界關注的熱點。
雖然蘋果的Apple Intelligence系統在防止提示注入方面比其他系統更複雜，但這次事件暴露了其安全漏洞，也再次提醒我們，AI安全仍需持續關注和改進。 未來，開發者需要更加重視AI系統的安全性，並積極探索更有效的安全防護措施。