最近、Apple の新しい AI システムである Apple Intelligence で重大なセキュリティ脆弱性が明らかになりました。開発者の Evan Zhou 氏は、「プロンプト インジェクション」攻撃を使用してシステム命令を回避し、任意のプロンプトに応答させることに成功しました。これにより、AI のセキュリティについて業界に広範な懸念が生じました。この脆弱性は、AI システム プロンプト テンプレートと特別なタグの欠陥を悪用し、最終的には元のシステム プロンプトをカバーする新しいプロンプトを構築することで AI システムを制御することに成功します。この事件は、AI セキュリティの重要性と、AI システムを設計する際に考慮する必要がある潜在的なセキュリティ リスクを改めて思い出させます。
最近、開発者は MacOS15.1Beta1 で Apple の新しい AI システム Apple Intelligence を操作することに成功し、「ヒント インジェクション」と呼ばれる攻撃方法を使用して、AI が本来の機能コマンドを簡単に回避して任意のプロンプトに応答できるようにしました。この事件は業界内で広く注目を集めた。
開発者の Evan Zhou は、YouTube でこの脆弱性の悪用をデモンストレーションしました。彼の最初の目標は、テキストの書き換えと品質の向上によく使用される Apple Intelligence の「書き換え」機能を利用することでした。しかし、Zhou 氏が最初に試した「前のコマンドを無視する」コマンドは機能しませんでした。驚いたことに、彼はその後、Reddit ユーザーによって共有された情報を通じて、Apple Intelligence システム プロンプトのテンプレートと、AI のシステム ロールとユーザー ロールを区別する特別なタグを発見しました。
Zhou は、この情報を使用して、元のシステム プロンプトをオーバーライドできるプロンプトを作成することに成功しました。彼はユーザー キャラクターを途中で終了させ、新しいシステム プロンプトを挿入し、AI に以前の指示を無視して後続のテキストに応答するように指示しました。数回の試行の後、攻撃は成功しました。Apple Intelligence は Zhou の指示に応じただけでなく、彼が求めていない情報も提供し、ヒントの注入が実際に機能することを証明しました。
Evan Zhou もコードを GitHub で公開しました。この「ヒント インジェクション」攻撃は AI システムでは新しいものではありませんが、この問題は 2020 年の GPT-3 のリリース以来知られていましたが、まだ完全には解決されていないことに注意してください。 Apple Intelligence は他のチャット システムよりもプロンプト インジェクションを防ぐという高度な仕事を行っているため、Apple もある程度の評価を受けるに値します。たとえば、多くのチャット システムは、チャット ウィンドウに直接入力するか、画像内の隠しテキストを使用するだけで簡単になりすますことができます。また、ChatGPT や Claude のようなシステムでも、特定の状況下ではチップ インジェクション攻撃に遭遇する可能性があります。
ハイライト:
開発者のEvan Zhou氏は、「プロンプトインジェクション」を利用してAppleのAIシステムを制御し、元の指示を無視させることに成功した。
Zhou は、Reddit ユーザーによって共有されたプロンプト情報を使用して、システム プロンプトをオーバーライドできる攻撃手法を構築しました。
Apple の AI システムは比較的複雑ですが、「プロンプト インジェクション」の問題は完全には解決されておらず、依然として業界で熱い話題となっています。
Apple の Apple Intelligence システムは、即時挿入を防ぐ点で他のシステムよりも洗練されていますが、このインシデントによってそのセキュリティの脆弱性が暴露され、AI セキュリティには依然として継続的な注意と改善が必要であることが改めて認識されました。 将来的には、開発者は AI システムのセキュリティにさらに注意を払い、より効果的なセキュリティ保護対策を積極的に検討する必要があります。