Awesome GenAI Watermarking
1.0.0
該存儲庫包含有關生成人工智慧模型的水印方法的論文。水印是一種將難以察覺但可恢復的訊號（有效負載）嵌入到數位資產（封面）中的方法。對於生成模型，有一些方法可以訓練模型在每個輸出中產生浮水印，並且這種行為應該很難停用。我們將此稱為「指紋生根」或簡稱「生根」 。
| 紙 | 會議記錄/期刊 | 地點年份/最後更新 | 程式碼 | 替代 PDF 來源 | 筆記 |
|---|---|---|---|---|---|
| 水印不是密碼學 | 世界婦女日協會 | 2006年 | - | 作者網頁 | - 待辦事項 |
| 紙 | 會議記錄/期刊 | 地點年份/最後更新 | 程式碼 | 替代 PDF 來源 | 筆記 |
|---|---|---|---|---|---|
| 生成模型的人工指紋：在訓練資料中紮根 Deepfake 歸因 | ICCV | 2021年 | - | Arxiv | - 生根 GAN 模型。透過將水印嵌入訓練資料中來利用 可轉移性 |
| PTW：預訓練影像產生器的關鍵調整浮水印 | 優尼克 | 2023年 | 吉圖布 | Arxiv | - 專注於 GAN，但潛在擴散模型也應該有效 |
| 穩定的簽名：潛在擴散模型中的根浮水印 | ICCV | 2023年 | 吉圖布 | Arxiv | - Meta/FAIR 作者 根據編碼器/解碼器微調模型，以在其輸出中揭示秘密訊息。 - 對水印去除和模型淨化具有穩健性（品質惡化） - 靜態浮水印 |
| 穩定的簽名是不穩定的：從擴散模型中移除影像浮水印 | - | 2024年 | - | Arxiv | - 透過微調實現穩定的簽名模型純化 |
| 潛在擴散模型的靈活安全的水印 | ACM MM | 2023年 | - | - | - 參考穩定簽名並透過允許嵌入不同訊息進行微調來增加靈活性來進行改進 |
| 一種免訓練的即插即用穩定擴散水印框架 | - | 2024年 | - | Arxiv | - 待辦事項 |
| WOUAF：文字到圖像擴散模型中用戶歸因和指紋識別的權重調製 | NeurIPS 擴散模型研討會 | 2023年 | - | Arxiv | - 待辦事項 |
| RoSteALS：使用自動編碼器潛在空間的穩健隱寫術 | CVPR 研討會 (CVPRW) | 2023年 | 吉圖布 | Arxiv | - 事後浮水印 |
| DiffusionShield：針對生成擴散模型的版權保護浮水印 | NeurIPS 擴散模型研討會 | 2023年 | - | Arxiv | - 與生根無關 -資料中毒受保護的影像，如果用作擴散模型中的訓練數據，則會重現 |
| 水印擴散模型的配方 | - | 2023年 | 吉圖布 | Arxiv | - 1. 小型無條件/類別條件 DM 的框架，透過從頭開始對帶有浮水印的資料進行訓練，2. 透過微調後門觸發輸出實現文字到圖像 DM - 關於水印判別模型的大量參考 - 靜態浮水印 |
| 透過水印擴散過程保護擴散模型的智慧財產權 | - | 2023年 | - | Arxiv | - 威脅模型：透過存取模型來檢查模型的所有權 - 難以閱讀 - 透過許多參考文獻解釋靜態浮水印和動態水印之間的差異 |
| 使用通用對抗簽名保護深度生成模型 | - | 2023年 | 吉圖布 | Arxiv | - 1. 單獨找到影像的最佳簽名。 - 2. 在這些影像上微調 GenAI 模型。 |
| 水印擴散模型 | - | 2023年 | - | Arxiv | - 微調後門觸發輸出 - 靜態浮水印 - CISPA 作者 |
| 無所不在：透過概念浮水印保護文字倒置 | - | 2023年 | - | Arxiv | - 透過允許識別生成圖像中的概念，保護透過文字反轉（圖像值得一個字：使用文字反轉個人化文字到圖像生成）所獲得的概念免遭濫用。 - 關於公司和政府對水印立場的非常有趣的參考 |
| 針對未經授權的主題驅動影像合成的生成浮水印 | - | 2023年 | - | Arxiv | - 與 Glaze 不同，受保護的來源影像的風格合成不會被阻止，但可以透過浮水印識別 - CISPA 作者 |
| 針對人工智慧生成內容的浮水印漏洞 | - | 2024年 | - | 開放評審 | - 使用 GAN 以一種方法去除浮水印和偽造 - 參考兩種類型的水印： 1.學習/微調模型以產生水印輸出，2.事後事後水印（靜態與動態，請參閱「透過浮水印擴散過程對擴散模型的智慧財產權保護」） |
| 人工智慧影像探測器的穩健性：基本限制和實際攻擊 | ICLR | 2024年 | 吉圖布 | Arxiv | - 他們表明低預算水印方法可以通過擴散淨化來擊敗，並提出一種甚至可以通過模型替換來刪除高預算水印的攻擊 |
| 影像浮水印的傳輸攻擊 | - | 2024年 | - | Arxiv | - 透過「無盒」攻擊偵測器移除浮水印（無法存取偵測器 API，而是訓練分類器來區分帶有浮水印的影像和普通影像） |
| EditGuard：用於篡改定位和版權保護的多功能影像浮水印 | CVPR | 2024年 | 吉圖布 | Arxiv | - 具有篡改定位的事後浮水印 |
| 潛在水印：在潛在擴散空間中註入和檢測水印 | - | 2024年 | - | Arxiv | - 討論水印的 3 個類別並參考：生成之前、生成期間和生成之後 |
| Stable Messenger：用於訊息隱藏影像產生的隱寫術 | - | 2023年 | - | Arxiv | - 事後浮水印 - 根據「潛在水印：在潛在擴散空間中註入和檢測水印」在生成過程中嵌入水印，但我認為這實際上是事後的。 |
| 紙 | 會議記錄/期刊 | 地點年份/最後更新 | 程式碼 | 替代 PDF 來源 | 筆記 |
|---|---|---|---|---|---|
| StegaStamp：實體照片中的隱形超鏈接 | CVPR | 2020年 | 吉圖布 | Arxiv | - 可以從視訊串流中擷取的實體影像中的浮水印 - “Towards the Vulnerability of Watermarking Artificial Intelligence generated Content”推測 Deepmind SynthID 的工作原理與此類似 |
| ChartStamp：用於實際應用的強大圖表嵌入 | ACM MM | 2022年 | 吉圖布 | - | - 與 StegaStamp 類似，但它在圖像的平坦區域中引入的混亂更少 |
| 非對抗性範例：為穩健視覺設計對象 | 神經IPS | 2021年 | 吉圖布 | Arxiv | - 擾動使檢測更容易 |
| 紙 | 會議記錄/期刊 | 地點年份/最後更新 | 程式碼 | 替代 PDF 來源 | 筆記 |
|---|---|---|---|---|---|
| RAW：一個強大且敏捷的即插即用水印框架，用於人工智慧生成的圖像，並具有可證明的保證 | - | 2024年 | 吉圖布 | Arxiv | - 從 arxiv 撤回 |
| PiGW：外掛程式生成浮水印框架 | - | 2024年 | 還沒找過 | Arxiv | - 從 arxiv 撤回 |
| 影像水印穩健性基準測試（等待ICML源碼） | ICML | 2024年 | 吉圖布 | Arxiv | - 待辦事項 |
| WMAdapter：為潛在擴散模型加入 WaterMark 控制 | - | 2024年 | 還沒找過 | Arxiv | - 待辦事項 |
| 數位浮水印隱寫分析：您的防禦真的無懈可擊嗎？ | - | 2024年 | 還沒找過 | Arxiv | - 待辦事項 |
| 大海撈針：隱形浮水印偵測的黑盒子方法 | - | 2024年 | 還沒找過 | Arxiv | - 待辦事項 |
| ProMark：因果歸因的主動擴散浮水印 | CVPR | 2024年 | - | Arxiv | - 待辦事項 |
| 自監督潛在空間中的影像浮水印 | ICASSP | 2022年 | 吉圖布 | Arxiv | - 待辦事項 |
| 產生自動編碼器作為浮水印攻擊者：漏洞和威脅分析 | ICML 研討會 DeployableGenerativeAI | 2023年 | - | - | - 使用LDM自動編碼器攻擊像素浮水印 |
| 使用生成人工智慧可去除隱形影像浮水印 | - | 2023年 | 吉圖布 | Arxiv | - 不是讓模型生根，而是透過擴散淨化去除水印 - 評估穩定簽名和樹環浮水印。年輪對於它們的攻擊具有很強的抵抗力。 - 早期版本的生成自動編碼器作為浮水印攻擊者 |
| WaterDiff：透過擴散模型感知影像浮水印 | ICASSP 的 IVMSP-P2 研討會 | 2024年 | - | - | - 待辦事項 |
| 夠努力：用對抗性機器學習攻擊感知哈希 | 優尼克 | 2022年 | - | - | - 對感知哈希的攻擊 |
| 基於規避浮水印的人工智慧生成內容檢測 | CCS | 2023年 | 吉圖布 | Arxiv | - 影像水印穩健性評估+規避對抗樣本 |
| 對抗性淨化的擴散模型 | ICML | 2022年 | 吉圖布 | Arxiv | - 防禦對抗性擾動，包括影像中難以察覺的水印 |
| 具有可逆噪聲層的基於流的魯棒水印，用於黑盒失真 | 全部 | 2023年 | 吉圖布 | - | - 與 HiDDeN 類似，只是一個神經水印編碼器/提取器 |
| HiDDeN：利用深度網路隱藏數據 | ECCV | 2018年 | 吉圖布 | Arxiv | - 穩定簽名中使用的主要工具 - 內含約可微分。 JPEG 壓縮 - 動態浮水印 |
| Glaze：透過文字到圖像模型保護藝術家免受風格模仿 | 優尼克 | 2023年 | 吉圖布 | Arxiv | - 不是 Root，而是否認風格竊取 |
| DUAW：針對穩定擴散定制的無數據通用對抗水印 | - | 2023年 | - | Arxiv | - 乍看之下與釉彩相似。作者可能不幸運地進行平行工作 |
| 使用可擴展指紋識別負責任地揭露生成模型 | ICLR | 2022年 | 吉圖布 | Arxiv | - 生根 GAN 模型。似乎引入了使用大消息空間快速可擴展地生成許多模型的想法（TODO：稍後檢查），類似於穩定簽名後來為穩定擴散所做的事情。 |
| 關於 Deepfakes 的歸屬 | - | 2020年 | - | Arxiv | - 他們表明可以創建看起來像是由目標模型生成的圖像。他們也提出了一個如何實現此類案件推諉的框架。 |
| 走向盲水印：結合可逆與不可逆機制 | ACM MM | 2022年 | 吉圖布 | Arxiv | - 不是關於 root 模型，而是關於攻擊影像的事後浮水印 - 大量關於可逆神經網路的參考資料 |
| DocDiff：透過殘餘擴散模型增強文檔 | ACM MM | 2023年 | 吉圖布 | Arxiv | - 不是關於生根模型，而是關於圖像的事後水印 - 包括經典的水印去除 |
| 戰爭：打破人工智慧生成內容的浮水印保護 | - | 2023年 | 還沒找過 | Arxiv | - 不是關於 root 模型，而是關於攻擊事後水印 - 包括1.水印去除和2.鍛造 |
| 利用優化對影像浮水印進行自適應攻擊 | ICML（海報） | 2024年 | 還沒找過 | Arxiv | - 不是關於 root 模型，而是關於攻擊事後水印 |
| 針對基於擴散的編輯模型的某種穩健圖像浮水印 | - | 2023年 | 還沒找過 | Arxiv | - 不是關於生根模型，而是關於圖像的事後水印 - 按字面意思取得浮水印並注入隱藏影像 |
| 嘿，那是我的，難以察覺的水印保留在擴散生成的輸出中 | - | 2023年 | - | Arxiv | - 不是關於 root 模型。他們表明訓練資料中的水印在輸出中是可識別的，並且允許知識產權聲明 |
| 影像水印穩健性基準測試 | - | 2024年 | 吉圖布 | Arxiv | - 只是測試水印的基準/框架 |
| 自由微調：深度神經網路的即插即用水印方案 | ACM MM | 2023年 | 還沒找過 | Arxiv | - 不是生成模型，而是判別模型 |
| 針對基於修復和盲目水印去除器的強大水印保護的對抗性攻擊 | ACM MM | 2023年 | 還沒找過 | - | - 事後水印具有增強的抗修復穩健性 |
| 一種增強 H.264/AVC 壓縮穩健性的新型深度視訊浮水印框架 | ACM MM | 2023年 | 吉圖布 | - | - 影片事後浮水印 |
| 具有同步和融合功能的實用深度分散浮水印 | ACM MM | 2023年 | 還沒找過 | Arxiv | - 影像的事後浮水印，增強了轉換的穩健性 |
| 透過語言引導的對比學習進行可推廣的合成影像偵測 | - | 2023年 | 吉圖布 | Arxiv | - 不是生根，而是GenAI影像檢測 |
| 增強基於深度學習的指紋識別的穩健性以改善 Deepfake 歸因 | ACM MM 亞洲 | 2022年 | - | - | - 不是生根，而是水印的轉換穩健性策略 |
| 你偷了我的中獎彩券被抓了！製作一張彩票來聲明其所有權 | 神經IPS | 2021年 | 吉圖布 | Arxiv | - 為中獎彩券的稀疏掩模添加浮水印 |
| 自消耗生成模型變得瘋狂 | ICLR（海報） | 2024年 | - | Arxiv | - 包含 GenAI 偵測重要的原因：從訓練集中刪除產生的內容 |
| 紙 | 會議記錄/期刊 | 地點年份/最後更新 | 程式碼 | 替代 PDF 來源 | 筆記 |
|---|---|---|---|---|---|
| 具有本地化浮水印的語音克隆主動檢測 | - | 2024年 | 吉圖布 | Arxiv | - Meta/FAIR 作者 |
| MaskMark：用於真實和合成語音的穩健神經浮水印 | ICASSP | 2024年 | 音訊樣本 | IEEE探索 | - |
| 用於對抗性語音合成的協作式水印 | ICASSP | 2024年 | - | Arxiv | - Meta/FAIR 作者 |
| HiFi-GAN：用於高效能、高保真語音合成的生成對抗網絡 | 神經IPS | 2020年 | 吉圖布 | Arxiv | - 非常適合語音合成的 GAN（TODO：這是 SotA 嗎？） - 即使在CPU上也可以進行即時合成 - 品質與自迴歸模型相當 |
| 使用神經聲碼器可以有效地創建用於語音欺騙對策的欺騙訓練數據 | ICASSP | 2023年 | - | Arxiv | - 包含聲碼器產生的訓練數據，以增強對抗措施的偵測能力 |
| AudioQR：QR 碼的深度神經音訊浮水印 | IJCAI | 2023年 | 吉圖布 | - | - 為視障人士提供難以察覺的音訊中的二維碼 |
| 紙 | 會議記錄/期刊 | 地點年份/最後更新 | 程式碼 | 替代 PDF 來源 | 筆記 |
|---|---|---|---|---|---|
| ASVspoof 2021 挑戰賽 | - | 2021年 | 吉圖布 | Arxiv | - 音頻欺騙檢測的挑戰 |
| ADD 2022：首屆音訊深度合成偵測挑戰賽 | ICASSP | 2022年 | 吉圖布 | Arxiv | - 官方中文挑戰網站（無 HTTPS！） |
| 紙 | 會議記錄/期刊 | 地點年份/最後更新 | 程式碼 | 替代 PDF 來源 | 筆記 |
|---|---|---|---|---|---|
| 沙裡的水印：生成模型的強烈水印是不可能的 | - | 2023年 | 吉圖布 | Arxiv | - |
| 對抗性浮水印變壓器：透過數據隱藏追蹤文字來源 | 標準普爾 | 2021年 | 吉圖布 | Arxiv | - |
| LLM 產生程式碼的彈性浮水印 | - | 2024年 | Github 附錄 | Arxiv | - 程式碼 |
| 透過糾錯碼為人工智慧產生的文本提供可靠的多位浮水印 | - | 2024年 | - | Arxiv | - 糾錯 |
| 人工智慧生成文本的可證明的魯棒水印 | ICLR | 2024年 | 吉圖布 | Arxiv | - 顯然良好且強大的LLM水印 |
| 向 LLM 注入多位資訊的可編碼浮水印 | ICLR | 2024年 | 吉圖布 | Arxiv | - 待辦事項 |
| 紙 | 會議記錄/期刊 | 地點年份/最後更新 | 程式碼 | 替代 PDF 來源 | 筆記 |
|---|---|---|---|---|---|
| 竊取機器學習模型：生成對抗網路的攻擊與對策 | ACSAC | 2021年 | - | Arxiv | - |
| 深度生成模型的模型提取攻防 | 物理學雜誌 | 2022年 | - | - | - |
| 生成對抗網路的模型擷取與防禦 | - | 2021年 | - | Arxiv | - |
| 紙 | 會議記錄/期刊 | 地點年份/最後更新 | 程式碼 | 替代 PDF 來源 | 筆記 |
|---|---|---|---|---|---|
| 穩健影像浮水印的綜合綜述 | 神經計算 | 2022年 | - | Arxiv | - 與模型生根無關 |
| 神經網路模型水印的系統性綜述 | 大數據前沿 | 2021年 | - | Arxiv | - 與模型生根無關 |
| 數位影像浮水印綜合評述 | - | 2022年 | - | Arxiv | - 與模型生根無關 |
| 生成人工智慧中的版權保護：技術視角 | - | 2024年 | - | Arxiv | - 關於 GenAI 中的一般智慧財產權保護 |
| AIGC 產生資料的安全和隱私：調查 | - | 2023年 | - | Arxiv | - 關於 GenAI 中的一般安全問題 |
| 檢測大型人工智慧模型產生的多媒體：一項調查 | - | 2024年 | - | Arxiv | - 關於一般檢測 GenAI |
| 音訊 Deepfake 偵測：調查 | - | 2023年 | - | Arxiv | - 包含欺騙音訊資料集、欺騙方法和檢測方法的概述 - 非常好的服務 |
本次審查中所給予的系統化總結。
| 目標 | 說明 | 動機 |
|---|---|---|
| 富達 | 對原始任務的高預測質量 | 模型性能不應顯著下降 |
| 穩健性 | 水印應難以去除 | 防止侵權 |
| 可靠性 | 最小的假陰性 | 確保合法所有權得到承認 |
| 正直 | 誤報率極低 | 防止盜竊的錯誤指控 |
| 容量 | 支援大資訊量 | 允許綜合浮水印 |
| 保密 | 水印必須是秘密且不可檢測的 | 防止未經授權的偵測 |
| 效率 | 快速浮水印插入和驗證 | 避免計算負擔 |
| 概論 | 獨立於資料集與機器學習演算法 | 有利於廣泛應用 |
