Awesome GenAI Watermarking
1.0.0
このリポジトリには、生成 AI モデルの透かし手法に関する論文が含まれています。透かしは、知覚できないが回復可能な信号 (ペイロード) をデジタル資産 (カバー) に埋め込む方法です。生成モデルでは、すべての出力にウォーターマークを生成するようにモデルをトレーニングするアプローチがあり、この動作を無効にするのは困難です。これを「指紋ルート化」または単に「ルート化」と呼びます。
| 紙 | 議事録・雑誌 | 会場年 / 最終更新日 | コード | 代替 PDF ソース | 注意事項 |
|---|---|---|---|---|---|
| 透かしは暗号化ではありません | IWDW | 2006年 | - | 著者のウェブページ | - TODO |
| 紙 | 議事録・雑誌 | 会場年 / 最終更新日 | コード | 代替 PDF ソース | 注意事項 |
|---|---|---|---|---|---|
| 生成モデルの人工フィンガープリンティング: トレーニング データのディープフェイク アトリビューションの根付 | ICCV | 2021年 | - | アルクシヴ | - GAN モデルの root 化。トレーニングデータにウォーターマークを埋め込んで悪用する 譲渡可能性 |
| PTW: 事前トレーニング済み画像ジェネレーターの重要なチューニング ウォーターマーク | USENIX | 2023年 | ギットハブ | アルクシヴ | - GAN に焦点を当てますが、潜在的な拡散モデルも機能するはずです |
| 安定した署名: 潜在拡散モデルの透かしのルート化 | ICCV | 2023年 | ギットハブ | アルクシヴ | - メタ/FAIR 著者 エンコーダー/デコーダーに従ってモデルを微調整し、その出力で秘密のメッセージを明らかにします。 - ウォーターマーク除去とモデル精製（品質劣化）に強い - 静的透かし |
| 安定した署名は不安定です: 拡散モデルから画像透かしを削除する | - | 2024年 | - | アルクシヴ | - 微調整による安定した署名モデルの精製 |
| 潜在拡散モデルのための柔軟で安全な透かし入れ | ACMMM | 2023年 | - | - | - 安定した署名を参照し、微調整にさまざまなメッセージを埋め込むことができるようにすることで柔軟性を追加し、改善します |
| 安定した拡散のためのトレーニング不要のプラグアンドプレイ ウォーターマーク フレームワーク | - | 2024年 | - | アルクシヴ | - TODO |
| WOUAF: テキストから画像への拡散モデルにおけるユーザー属性とフィンガープリンティングのための重み付け変調 | 拡散モデルに関する NeurIPS ワークショップ | 2023年 | - | アルクシヴ | - TODO |
| RoSteALS: オートエンコーダーの潜在空間を使用した堅牢なステガノグラフィー | CVPR ワークショップ (CVPRW) | 2023年 | ギットハブ | アルクシヴ | - ポストホック電子透かし |
| DiffusionShield: 生成拡散モデルに対する著作権保護のためのウォーターマーク | 拡散モデルに関する NeurIPS ワークショップ | 2023年 | - | アルクシヴ | - 発根に関するものではありません - データポイズニングで保護された画像は、拡散モデルのトレーニングデータとして使用された場合に再現されます。 |
| 透かし拡散モデルのレシピ | - | 2023年 | ギットハブ | アルクシヴ | - 1. 透かし入りデータでのゼロからのトレーニングによる小規模な無条件/クラス条件付き DM および 2. バックドア トリガー出力の微調整によるテキストから画像への DM のためのフレームワーク - 透かし識別モデルに関する多数の参考資料 - 静的透かし |
| ウォーターマーク拡散プロセスによる拡散モデルの知的財産保護 | - | 2023年 | - | アルクシヴ | - 脅威モデル: モデルにアクセスしてモデルの所有権を確認します。 - 読みにくい -静的透かしと動的透かしの違いを多くの参考資料を使って説明します |
| 普遍的な敵対的署名による深い生成モデルの保護 | - | 2023年 | ギットハブ | アルクシヴ | - 1. 画像に最適な署名を個別に見つけます。 - 2. これらの画像で GenAI モデルを微調整します。 |
| 透かし拡散モデル | - | 2023年 | - | アルクシヴ | - バックドアトリガー出力の微調整 - 静的透かし - CISPA 著者 |
| どこでもすべてをキャッチ: コンセプトの透かしを介してテキストの反転を保護 | - | 2023年 | - | アルクシヴ | - 生成された画像内の概念を識別できるようにすることで、テキスト反転 (An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion) を通じて取得した概念を悪用から保護します。 - 透かしに対する企業と政府のスタンスに関する非常に興味深い参考文献 |
| 許可されていない被写体主導の画像合成に対する生成透かし | - | 2023年 | - | アルクシヴ | - 保護されたソース画像からのスタイル合成は妨げられませんが、透かしによって認識できるという点で Glaze とは異なります。 - CISPA 著者 |
| 人工知能が生成したコンテンツの透かしの脆弱性について | - | 2024年 | - | オープンレビュー | - GAN を使用した 1 つの方法での透かしの削除と偽造 - 2 種類の透かしを参照します: 1. 透かし入り出力を生成するためのモデルの学習/微調整、および 2. 事後のポストホック透かし(静的と動的、「透かし拡散プロセスによる拡散モデルの知的財産保護」を参照) |
| AI 画像検出器の堅牢性: 基本的な限界と実際的な攻撃 | ICLR | 2024年 | ギットハブ | アルクシヴ | - 彼らは、低予算の透かし手法が拡散浄化によって打ち負かされることを示し、モデル置換によって高予算の透かしさえも除去できる攻撃を提案しています。 |
| 画像透かしへの転送攻撃 | - | 2024年 | - | アルクシヴ | - 検出器に対する「ノーボックス」攻撃による透かしの削除 (検出器 API にアクセスせず、代わりに透かし入りの画像とバニラ画像を区別するための分類子をトレーニングします) |
| EditGuard: 改ざん位置特定と著作権保護のための多用途の画像透かし | CVPR | 2024年 | ギットハブ | アルクシヴ | - 改ざん位置特定を伴うポストホック電子透かし |
| 潜在透かし: 潜在拡散空間への透かしの挿入と検出 | - | 2024年 | - | アルクシヴ | - ウォーターマークの 3 つのカテゴリについて参考文献とともに説明します: 生成前、生成中、生成後 |
| 安定したメッセンジャー: メッセージ隠蔽画像生成のためのステガノグラフィー | - | 2023年 | - | アルクシヴ | - ポストホック電子透かし - 「Latent Watermark: Inject and Detect Watermarks in Latent Diffusion Space」による生成中のウォーターマーク埋め込みですが、実際には事後的なものだと思います。 |
| 紙 | 議事録・雑誌 | 会場年 / 最終更新日 | コード | 代替 PDF ソース | 注意事項 |
|---|---|---|---|---|---|
| StegaStamp: 物理写真の目に見えないハイパーリンク | CVPR | 2020年 | ギットハブ | アルクシヴ | - ビデオストリームからキャプチャできる物理画像の透かし - 「人工知能が生成したコンテンツの透かしの脆弱性について」では、Deepmind SynthID がこれと同様に機能すると推測しています。 |
| ChartStamp: 現実世界のアプリケーション向けの堅牢なチャート埋め込み | ACMMM | 2022年 | ギットハブ | - | - StegaStamp と似ていますが、画像内の平坦な領域の乱雑さが軽減されます。 |
| 敵対的でない例: 堅牢なビジョンのためのオブジェクトの設計 | NeurIPS | 2021年 | ギットハブ | アルクシヴ | - 検出を容易にする摂動 |
| 紙 | 議事録・雑誌 | 会場年 / 最終更新日 | コード | 代替 PDF ソース | 注意事項 |
|---|---|---|---|---|---|
| RAW: 証明可能な保証を備えた AI 生成画像用の堅牢かつ機敏なプラグアンドプレイ ウォーターマーク フレームワーク | - | 2024年 | ギットハブ | アルクシヴ | - arxiv からの撤退 |
| PiGW: プラグイン生成透かしフレームワーク | - | 2024年 | まだ探していませんでした | アルクシヴ | - arxiv からの撤退 |
| 画像透かしの堅牢性のベンチマーク (ICML ソースを待ちます) | ICML | 2024年 | ギットハブ | アルクシヴ | - TODO |
| WMAdapter: 潜在拡散モデルへの WaterMark コントロールの追加 | - | 2024年 | まだ探していませんでした | アルクシヴ | - TODO |
| 電子透かしに関するステガナリシス: あなたの防御は本当に無防備ですか? | - | 2024年 | まだ探していませんでした | アルクシヴ | - TODO |
| 干し草の山から針を見つける: 目に見えない透かし検出へのブラックボックス アプローチ | - | 2024年 | まだ探していませんでした | アルクシヴ | - TODO |
| ProMark: 因果関係帰属のためのプロアクティブな拡散透かし | CVPR | 2024年 | - | アルクシヴ | - TODO |
| 自己監視型潜在空間内の画像に透かしを入れる | ICASSP | 2022年 | ギットハブ | アルクシヴ | - TODO |
| ウォーターマーク攻撃者としての生成オートエンコーダー: 脆弱性と脅威の分析 | ICML ワークショップ DeployableGenerativeAI | 2023年 | - | - | - LDM オートエンコーダを使用したピクセル透かし攻撃 |
| 目に見えない画像の透かしは、生成 AI を使用して削除できることが証明されています | - | 2023年 | ギットハブ | アルクシヴ | - モデルのルート化ではなく、拡散浄化によるウォーターマークの除去です。 - 安定した署名と年輪透かしを評価します。年輪は彼らの攻撃に対して強いです。 - ウォーターマーク攻撃者としての生成オートエンコーダーの以前のバージョン |
| WaterDiff: 拡散モデルによる知覚画像透かし | ICASSPでのIVMSP-P2ワークショップ | 2024年 | - | - | - TODO |
| 十分に目を細めてください: 敵対的機械学習を使用して知覚ハッシュを攻撃する | USENIX | 2022年 | - | - | - 知覚ハッシュに対する攻撃 |
| AI 生成コンテンツのウォーターマークベースの検出を回避 | CCS | 2023年 | ギットハブ | アルクシヴ | - 画像透かしの堅牢性の評価 + 回避のための敵対的サンプル |
| 敵対的浄化のための拡散モデル | ICML | 2022年 | ギットハブ | アルクシヴ | - 画像内の知覚できない透かしなど、敵対的な摂動に対する防御 |
| ブラックボックス歪みに対する可逆ノイズレイヤーを備えたフローベースの堅牢な透かし処理 | AIII | 2023年 | ギットハブ | - | - HiDDeN と同様、単なるニューラル透かしエンコーダ/抽出器 |
| HiDDeN: ディープネットワークによるデータの隠蔽 | ECCV | 2018年 | ギットハブ | アルクシヴ | - Stable Signatureで使用される主なツール - 微分可能な近似値が含まれています。 JPEG圧縮の - 動的な透かし入れ |
| Glaze: テキストから画像へのモデルによるスタイルの模倣からアーティストを保護する | USENIX | 2023年 | ギットハブ | アルクシヴ | - Root化ではなく、スタイル盗用の否定です |
| DUAW: 安定した拡散のカスタマイズに対するデータフリーのユニバーサル敵対的ウォーターマーク | - | 2023年 | - | アルクシヴ | - 一見するとGlazeに似ています。著者は並行作業をするのが不運だったかもしれない |
| スケーラブルなフィンガープリンティングを使用した生成モデルの責任ある開示 | ICLR | 2022年 | ギットハブ | アルクシヴ | - GAN モデルの root 化。後に安定した拡散のために Stable Signature が実行したのと同様に、大きなメッセージ スペースで多くのモデルを高速にスケーラブルに生成するというアイデアが導入されたようです (TODO: これは後で確認してください)。 |
| ディープフェイクの帰属について | - | 2020年 | - | アルクシヴ | - ターゲットのモデルによって生成されたように見える画像を作成できることを示しています。彼らはまた、そのような場合に否認を達成する方法の枠組みも提案しています。 |
| ブラインド透かしに向けて: 可逆メカニズムと非可逆メカニズムの組み合わせ | ACMMM | 2022年 | ギットハブ | アルクシヴ | - モデルをルート化することではなく、画像のポストホック透かしを攻撃することについてです - 可逆NNに関する多数のリファレンス |
| DocDiff: 残留拡散モデルによるドキュメントの強化 | ACMMM | 2023年 | ギットハブ | アルクシヴ | - モデルのルート化ではなく、画像のポストホック透かし入れについてです - 古典的な透かし除去機能が含まれています |
| Warfare:AI が生成したコンテンツのウォーターマーク保護を突破する | - | 2023年 | まだ探していませんでした | アルクシヴ | - モデルをルート化することではなく、ポストホック透かしを攻撃することについてです - 1. 透かし除去と 2. 鍛造が含まれます |
| 画像透かしに対する適応型攻撃のための最適化の活用 | ICML（ポスター） | 2024年 | まだ探していませんでした | アルクシヴ | - モデルをルート化することではなく、ポストホック透かしを攻撃することについてです |
| 拡散ベースの編集モデルに対してある程度堅牢な画像透かし | - | 2023年 | まだ探していませんでした | アルクシヴ | - モデルのルート化ではなく、画像のポストホック透かし入れについてです - 透かしを文字通りに受け取り、隠し画像を挿入します |
| Hey That's Mine 知覚できない透かしが拡散生成出力に保存される | - | 2023年 | - | アルクシヴ | - モデルを応援することではありません。彼らは、トレーニング データの透かしが出力で認識可能であり、知的財産権の主張を可能にすることを示しています。 |
| 画像透かしの堅牢性のベンチマーク | - | 2024年 | ギットハブ | アルクシヴ | - ウォーターマークをテストするための単なるベンチマーク/フレームワーク |
| 無料の微調整: ディープ ニューラル ネットワーク用のプラグ アンド プレイの透かしスキーム | ACMMM | 2023年 | まだ探していませんでした | アルクシヴ | - 生成モデルではなく、識別モデルについてです |
| 修復ベースおよびブラインド ウォーターマーク リムーバーに対する堅牢なウォーターマーク保護のための敵対的攻撃 | ACMMM | 2023年 | まだ探していませんでした | - | - 修復に対する堅牢性が強化されたポストホック透かし |
| H.264/AVC 圧縮に対する堅牢性が強化された、新しいディープ ビデオ ウォーターマーキング フレームワーク | ACMMM | 2023年 | ギットハブ | - | - ビデオの事後透かし |
| 同期と融合による実用的な深層分散透かし | ACMMM | 2023年 | まだ探していませんでした | アルクシヴ | - 変換に対する堅牢性が強化された画像の事後透かし |
| 言語誘導対照学習による一般化可能な合成画像検出 | - | 2023年 | ギットハブ | アルクシヴ | - root化ではなく、GenAI画像検出です |
| ディープラーニングベースのフィンガープリンティングの堅牢性を強化してディープフェイクの帰属を改善する | ACM MM-アジア | 2022年 | - | - | - ルート化ではなく、透かしの変換堅牢性戦略です |
| 私の当選した宝くじを盗んだのが捕まりました！宝くじの所有権を主張させる | NeurIPS | 2021年 | ギットハブ | アルクシヴ | - 当選した宝くじのスパーシティマスクに透かしを入れる |
| 自己消費型の生成モデルが MAD へ | ICLR（ポスター） | 2024年 | - | アルクシヴ | - GenAI 検出が重要である理由が含まれています: 生成されたコンテンツをトレーニング セットから削除する |
| 紙 | 議事録・雑誌 | 会場年 / 最終更新日 | コード | 代替 PDF ソース | 注意事項 |
|---|---|---|---|---|---|
| 局所的な透かしを使用した音声クローンのプロアクティブな検出 | - | 2024年 | ギットハブ | アルクシヴ | - メタ/FAIR 著者 |
| MaskMark: 実際の音声と合成音声のための堅牢なニューラル透かし | ICASSP | 2024年 | オーディオサンプル | IEE探検する | - |
| 敵対的な音声合成のための共同透かし入れ | ICASSP | 2024年 | - | アルクシヴ | - メタ/FAIR 著者 |
| HiFi-GAN: 効率的で忠実度の高い音声合成のための敵対的生成ネットワーク | NeurIPS | 2020年 | ギットハブ | アルクシヴ | - 音声合成に非常に優れた GAN (TODO: これは SotA ですか?) - CPUでもライブ合成が可能 - 品質は自己回帰モデルと同等です |
| ニューラルボコーダーを利用して音声なりすまし対策用のなりすまし学習データを効率的に作成 | ICASSP | 2023年 | - | アルクシヴ | - ボコーダーで生成されたトレーニング データを含めて、対策の検出機能を強化します |
| AudioQR: QR コード用のディープ ニューラル オーディオ ウォーターマーク | IJCAI | 2023年 | ギットハブ | - | - 視覚障害者向けの音声で認識できない QR コード |
| 紙 | 議事録・雑誌 | 会場年 / 最終更新日 | コード | 代替 PDF ソース | 注意事項 |
|---|---|---|---|---|---|
| ASVspoof 2021 チャレンジ | - | 2021年 | ギットハブ | アルクシヴ | - 音声スプーフィング検出への挑戦 |
| 2022 年追加: 最初のオーディオ深層合成検出チャレンジ | ICASSP | 2022年 | ギットハブ | アルクシヴ | - 中国語チャレンジの公式 Web サイト (HTTPS なし!) |
| 紙 | 議事録・雑誌 | 会場年 / 最終更新日 | コード | 代替 PDF ソース | 注意事項 |
|---|---|---|---|---|---|
| 砂の中の透かし: 生成モデルに対する強力な透かしの不可能性 | - | 2023年 | ギットハブ | アルクシヴ | - |
| Adversarial Watermarking Transformer: データを隠してテキストの出所を追跡する方向に | S&P | 2021年 | ギットハブ | アルクシヴ | - |
| LLM で生成されたコードの復元力のあるウォーターマーク | - | 2024年 | Github の付録 | アルクシヴ | - コード |
| 誤り訂正コードによる AI 生成テキストの堅牢なマルチビット透かし挿入 | - | 2024年 | - | アルクシヴ | - エラー修正 |
| AI 生成テキストの証明可能な堅牢な透かし | ICLR | 2024年 | ギットハブ | アルクシヴ | - 明らかに優れており堅牢な LLM 透かし |
| LLM にマルチビット情報を注入するためのコード化可能な透かしを目指して | ICLR | 2024年 | ギットハブ | アルクシヴ | - TODO |
| 紙 | 議事録・雑誌 | 会場年 / 最終更新日 | コード | 代替 PDF ソース | 注意事項 |
|---|---|---|---|---|---|
| 機械学習モデルの窃取: 敵対的生成ネットワークへの攻撃とその対策 | ACSAC | 2021年 | - | アルクシヴ | - |
| 深い生成モデルに対するモデル抽出の攻撃と防御 | 物理学ジャーナル | 2022年 | - | - | - |
| 敵対的生成ネットワークにおけるモデルの抽出と防御 | - | 2021年 | - | アルクシヴ | - |
| 紙 | 議事録・雑誌 | 会場年 / 最終更新日 | コード | 代替 PDF ソース | 注意事項 |
|---|---|---|---|---|---|
| 堅牢な画像透かしに関する包括的な調査 | ニューロコンピューティング | 2022年 | - | アルクシヴ | - モデルのルート化に関するものではありません |
| ニューラルネットワークのモデル透かしに関する体系的なレビュー | ビッグデータのフロンティア | 2021年 | - | アルクシヴ | - モデルのルート化に関するものではありません |
| デジタル画像透かしに関する包括的なレビュー | - | 2022年 | - | アルクシヴ | - モデルのルート化に関するものではありません |
| 生成 AI における著作権保護: 技術的観点 | - | 2024年 | - | アルクシヴ | - GenAI における知的財産保護全般について |
| AIGC における生成データのセキュリティとプライバシー: 調査 | - | 2023年 | - | アルクシヴ | - GenAI のセキュリティ面全般について |
| 大規模な AI モデルによって生成されたマルチメディアの検出: 調査 | - | 2024年 | - | アルクシヴ | - GenAI の検出全般について |
| 音声ディープフェイクの検出: 調査 | - | 2023年 | - | アルクシヴ | - スプーフィングされた音声データセット、スプーフィング手法、および検出手法の概要が含まれています - とても良いサーベイ |
このレビューで与えられた体系化の要約。
| ゴール | 説明 | モチベーション |
|---|---|---|
| 忠実度 | 元のタスクの高い予測品質 | モデルのパフォーマンスが大幅に低下してはなりません |
| 堅牢性 | ウォーターマークは削除されないようにする必要があります | 著作権回避から保護します |
| 信頼性 | 最小限の偽陰性 | 正当な所有権が確実に認識されるようにする |
| 誠実さ | 最小限の誤検知 | 窃盗の不当な告発を防ぐ |
| 容量 | 大量の情報量をサポート | 包括的な透かしを許可します |
| 秘密 | 透かしは秘密で検出不可能である必要があります | 不正な検出を防止する |
| 効率 | 高速なウォーターマークの挿入と検証 | 計算上の負担を回避します |
| 一般性 | データセットや ML アルゴリズムから独立 | 広範な適用を促進します |
