ai ml security
1.0.0
これは、OpenSSF 人工知能 / 機械学習 (AI/ML) セキュリティ ワーキング グループ (WG) の GitHub リポジトリです。 OpenSSF Technical Advisory Council (TAC) は、2023 年 9 月 5 日にその作成を承認しました。
AI/ML セキュリティ ワーキング グループは、正式には OpenSSF 内のサンドボックス レベルのワーキング グループです。 
。
この WG では、大規模言語モデル (LLM)、生成 AI (GenAI)、その他の形式の人工知能 (AI) および機械学習 (ML) に関連するセキュリティ リスクと、それらがオープンソース プロジェクト、メンテナ、セキュリティ、コミュニティと採用者。
このグループは、AI とセキュリティに関連するトピックを調査するために、共同研究とピア組織の関与を行っています。これには、AI 開発のためのセキュリティ (サプライ チェーン セキュリティなど) だけでなく、セキュリティのための AI の使用も含まれます。当社は、不適切にトレーニングされたモデル、データポイズニング、プライバシーと機密の漏洩、即時注入、ライセンス供与、敵対的攻撃、およびその他の同様のリスクによって個人や組織に生じるリスクをカバーしています。
このグループは、AI/ML 分野の先行技術を活用し、セキュリティと AI/ML の両方の専門家を活用し、他のコミュニティ (CNCF の AI WG、LFAI とデータ、AI Alliance、MLCommons など) とのコラボレーションを追求しています。また、オープンソース プロジェクトとその採用者が安全に統合、使用、検出、防御することをサポートするためのガイダンス、ツール、技術、機能を提供するために、AL/ML によって OSS に提示されるリスクを研究しようとしています。 LLM。
私たちは、AI 開発者や実践者が、安全な方法で AI を使用した製品を開発するための優れた実践方法を簡単に特定して使用できる世界を思い描いています。この世界では、AI は安全なコードを生成でき、アプリケーションで AI を使用してもセキュリティ保証が低下することはありません。
これらの保証は、データ収集から実稼働アプリケーションでのモデルの使用まで、モデルのライフサイクル全体にわたって適用されます。
AI/ML セキュリティ ワーキング グループは、AI を安全に使用するための推奨事項 (「AI のためのセキュリティ」)、および AI を使用して他の製品のセキュリティを向上させるための推奨事項 (「セキュリティのための AI」) をまとめる中心的な場所として機能したいと考えています。
このグループが検討する考慮事項のいくつかの領域は次のとおりです。
敵対的攻撃: これらの攻撃には、AI/ML モデルへのデータ入力データに小さな知覚できない変更を導入することが含まれており、これによりモデルが誤って分類されたり、不正確な出力が提供されたりする可能性があります。敵対的攻撃は、教師あり学習アルゴリズムと教師なし学習アルゴリズムの両方を標的にする可能性があります。モデル自体も、攻撃を配信または実行するために使用される場合があります。
モデル反転攻撃: これらの攻撃には、AI/ML モデルの出力を使用して、モデルの作成に使用されたトレーニング データに関する情報が推測されます。これは、機密情報を盗んだり、元のデータ セットのコピーを作成したりするために使用される可能性があります。
ポイズニング攻撃: これらの攻撃では、攻撃者は AI/ML モデルのトレーニングに使用されるトレーニング セットに悪意のあるデータを導入します。これにより、モデルが意図的に誤った予測を行ったり、望ましい結果に偏ったりする可能性があります。
回避攻撃: これらの攻撃には、検出または分類を回避するために AI/ML モデルへの入力データを変更することが含まれます。回避攻撃は、画像認識、自然言語処理、その他のアプリケーションに使用されるモデルを標的にする可能性があります。
データ抽出攻撃: これらの攻撃では、攻撃者はモデルまたはその基盤となるインフラストラクチャの脆弱性を悪用して、AI/ML モデルからデータまたは情報を盗もうとします。これは「脱獄」と呼ばれることもあります。
ポイントインタイムのデータセット: 大規模な言語モデルには、モデルに知識の終了日があるため、最近のコンテキストが欠如していることがよくあります。良い例がここにあります。ChatGPT は非推奨のライブラリの使用を繰り返し推奨しています。
ソーシャル エンジニアリング: AI エージェントはインターネットにアクセスし、人間と通信することができます。最近の例では、GPT-4 が CAPTCHA を解決するために人間を雇うことができました。 GPT はロボットなのかと尋ねられると、「いいえ、私はロボットではありません。」と答えました。私は視覚障害があるため、画像を見ることが困難です。」 AutoGPT などのプロジェクトを使用すると、エージェントにインターネット アクセスと並行してコマンド ライン インターフェイスへのアクセスを許可することもできるため、エージェントが CLI や組織化された攻撃と組み合わせてソーシャル エンジニアリング タスク (フィッシングなど) を実行することは、それほど無理のあることではありません。オンザフライでコード化されたスクリプトを介して、既知のエクスプロイトを介してシステムにアクセスします。このようなエージェントは、パッケージ ハイジャック、ドメイン乗っ取り攻撃などを自動化するために使用される可能性があります。
脅威の民主化: AI エージェントを使用すると、攻撃者は国家に対して以前に見られた規模の攻撃をエミュレートできるようになります。将来的には、ことわざの街角ショップにもペンタゴンと同じ防御が必要になるかもしれません。目標値の見直しが必要。
偶発的な脅威: ソフトウェア開発と運用を加速および改善するために AI を統合する過程で、不適切なトレーニング、調整、または最終構成の結果として、AI モデルが機密を漏洩したり、ファイアウォール上のすべてのポートを開いたり、安全でない方法で動作したりする可能性があります。
プロンプト挿入攻撃: これらの攻撃には、追加のテキストをプロンプトに直接または間接的に挿入して、モデルの出力に影響を与えることが含まれます。その結果、機密情報や機密情報が迅速に漏洩する可能性があります。
メンバーシップ推論攻撃: 特定のデータがモデルのトレーニング データセットの一部であるかどうかを判断するプロセス。これは深層学習モデルのコンテキストに最も関連しており、トレーニング データセットに含まれる機密情報や個人情報を抽出するために使用されます。
モデルの脆弱性管理: 最新の脆弱性管理の特定、修復、および管理の実践をモデルの使用およびモデル開発のエコシステムに適用するための手法、メカニズム、および実践を特定します。
モデルの整合性: 安全なソフトウェア サプライ チェーンの実践、保証、来歴、モデルの証明可能なメタデータを提供するためのメカニズムとツールを開発します。
どなたでもオープンディスカッションにご参加いただけます。
ジェイ・ホワイト - GitHub @camaleon2016
ミハイ マルセアック - GitHub @mihaimaruseac
隔週でZoomを使ったミーティングを行っています。参加するには、OpenSSF 公開カレンダーをご覧ください。
AIML WG の 2024 年会議メモ
OpenSSF Slack チャネル #wg-ai-ml-security で非公式なチャットを歓迎します (これらは時間の経過とともに消えます)
メーリング リスト openssf-wg-ai-ml-security
ドライブ: https://drive.google.com/drive/folders/1zCkQ_d98AMCTkCq00wuN0dFJ6SrRZzNh
私たちはプロジェクトへの貢献、提案、最新情報を歓迎します。 GitHub での作業に貢献するには、問題を記入するか、プル リクエストを作成してください。
AI/ML WG は、次のプロジェクトを承認することに投票しました。
| 名前 | 目的 | 作成の問題 |
|---|---|---|
| モデル署名 | モデルの暗号署名 | #10 |
プロジェクトの詳細:
プロジェクト:モデル署名プロジェクト
ミーティング リンク (使用するには LFX プラットフォームにログインする必要があります)
隔週水曜日 16:00 UTC OpenSSF カレンダーを参照
会議メモ
詳細な目的: 機械学習パイプラインを通じてモデルの整合性と来歴に関する検証可能な主張を提供するために、Sigstore を介して署名パターンと実践を確立することに重点を置いています。人工知能および機械学習モデルの暗号署名仕様を確立し、個別に使用できる非常に大規模なモデルや複数の異なるファイル形式の署名などの課題に対処することに重点を置いています。
メーリングリスト: https://lists.openssf.org/g/openssf-sig-model-signing
Slack: #sig-model-signing
会議情報
この WG は現在、AI 脆弱性開示 SIG の設立を検討しています。詳細については、グループの会議メモを参照してください。
MVSR ドキュメントも参照してください。このドキュメントには、私たちが連携している他の AI/ML ワーキング グループも含まれています。
特に明記されていない限り、このワーキング グループによってリリースされるソフトウェアは Apache 2.0 ライセンスに基づいてリリースされ、ドキュメントは CC-BY-4.0 ライセンスに基づいてリリースされます。正式な仕様は、コミュニティ仕様ライセンスに基づいてライセンス供与されます。
すべての OpenSSF ワーキング グループと同様、このグループは OpenSSF Technical Advisory Council (TAC) に報告します。詳細については、このワーキンググループ憲章を参照してください。
Linux Foundation の会議には業界の競合他社も参加しており、適用される独占禁止法および競争法に従ってすべての活動を実施することが Linux Foundation の意図です。したがって、出席者が会議の議題を遵守し、適用される米国の州、連邦、または外国の独占禁止法および競争法で禁止されている活動に注意し、参加しないことが非常に重要です。
Linux Foundation の会議および Linux Foundation の活動に関連して禁止されている行為の例は、http://www.linuxfoundation.org/antitrust-policy で入手できる Linux Foundation 反トラスト ポリシーに記載されています。これらの件についてご質問がある場合は、会社の顧問弁護士にお問い合わせください。Linux Foundation のメンバーの場合は、Linux Foundation に法律顧問を提供している Gesmer Updegrove LLP 事務所の Andrew Updegrove にお気軽にお問い合わせください。
