Awesome GenAI Watermarking
1.0.0
该存储库包含有关生成人工智能模型的水印方法的论文。水印是一种将难以察觉但可恢复的信号（有效负载）嵌入到数字资产（封面）中的方法。对于生成模型，有一些方法可以训练模型在每个输出中生成水印，并且这种行为应该很难禁用。我们将此称为“指纹生根”或简称“生根” 。
| 纸 | 会议记录/期刊 | 地点年份/最后更新 | 代码 | 替代 PDF 源 | 笔记 |
|---|---|---|---|---|---|
| 水印不是密码学 | 世界妇女日协会 | 2006年 | - | 作者网页 | - 待办事项 |
| 纸 | 会议记录/期刊 | 地点年份/最后更新 | 代码 | 替代 PDF 源 | 笔记 |
|---|---|---|---|---|---|
| 生成模型的人工指纹：在训练数据中扎根 Deepfake 归因 | ICCV | 2021年 | - | Arxiv | - 生根 GAN 模型。通过将水印嵌入到训练数据中来利用 可转移性 |
| PTW：预训练图像生成器的关键调整水印 | 优尼克 | 2023年 | 吉图布 | Arxiv | - 专注于 GAN，但潜在扩散模型也应该有效 |
| 稳定的签名：潜在扩散模型中的根水印 | ICCV | 2023年 | 吉图布 | Arxiv | - Meta/FAIR 作者 根据编码器/解码器微调模型，以在其输出中揭示秘密消息。 - 对水印去除和模型净化具有鲁棒性（质量恶化） - 静态水印 |
| 稳定的签名是不稳定的：从扩散模型中去除图像水印 | - | 2024年 | - | Arxiv | - 通过微调实现稳定的签名模型纯化 |
| 潜在扩散模型的灵活安全的水印 | ACM MM | 2023年 | - | - | - 参考稳定签名并通过允许嵌入不同消息进行微调来增加灵活性来进行改进 |
| 一种免训练的即插即用稳定扩散水印框架 | - | 2024年 | - | Arxiv | - 待办事项 |
| WOUAF：文本到图像扩散模型中用户归因和指纹识别的权重调制 | NeurIPS 扩散模型研讨会 | 2023年 | - | Arxiv | - 待办事项 |
| RoSteALS：使用自动编码器潜在空间的鲁棒隐写术 | CVPR 研讨会 (CVPRW) | 2023年 | 吉图布 | Arxiv | - 事后水印 |
| DiffusionShield：针对生成扩散模型的版权保护水印 | NeurIPS 扩散模型研讨会 | 2023年 | - | Arxiv | - 与生根无关 -数据中毒受保护的图像，如果用作扩散模型中的训练数据，则会重现 |
| 水印扩散模型的配方 | - | 2023年 | 吉图布 | Arxiv | - 1. 小型无条件/类条件 DM 的框架，通过从头开始对带水印的数据进行训练，2. 通过微调后门触发输出实现文本到图像 DM - 关于水印判别模型的大量参考 - 静态水印 |
| 通过水印扩散过程保护扩散模型的知识产权 | - | 2023年 | - | Arxiv | - 威胁模型：通过访问模型来检查模型的所有权 - 难以阅读 - 通过许多参考文献解释静态水印和动态水印之间的区别 |
| 使用通用对抗签名保护深度生成模型 | - | 2023年 | 吉图布 | Arxiv | - 1. 单独找到图像的最佳签名。 - 2. 在这些图像上微调 GenAI 模型。 |
| 水印扩散模型 | - | 2023年 | - | Arxiv | - 微调后门触发输出 - 静态水印 - CISPA 作者 |
| 无处不在：通过概念水印保护文本倒置 | - | 2023年 | - | Arxiv | - 通过允许识别生成图像中的概念，保护通过文本反转（图像值得一个字：使用文本反转个性化文本到图像生成）获得的概念免遭滥用。 - 关于公司和政府对水印立场的非常有趣的参考 |
| 针对未经授权的主题驱动图像合成的生成水印 | - | 2023年 | - | Arxiv | - 与 Glaze 不同，受保护的源图像的风格合成不会被阻止，但可以通过水印识别 - CISPA 作者 |
| 针对人工智能生成内容的水印漏洞 | - | 2024年 | - | 开放评审 | - 使用 GAN 以一种方法去除水印和伪造 - 参考两种类型的水印： 1.学习/微调模型以产生水印输出，2.事后事后水印（静态与动态，请参阅“通过水印扩散过程对扩散模型的知识产权保护”） |
| 人工智能图像探测器的鲁棒性：基本限制和实际攻击 | ICLR | 2024年 | 吉图布 | Arxiv | - 他们表明低预算水印方法可以通过扩散净化来击败，并提出一种甚至可以通过模型替换来删除高预算水印的攻击 |
| 图像水印的传输攻击 | - | 2024年 | - | Arxiv | - 通过“无盒”攻击检测器去除水印（无法访问检测器 API，而是训练分类器来区分带水印的图像和普通图像） |
| EditGuard：用于篡改定位和版权保护的多功能图像水印 | CVPR | 2024年 | 吉图布 | Arxiv | - 具有篡改定位的事后水印 |
| 潜在水印：在潜在扩散空间中注入和检测水印 | - | 2024年 | - | Arxiv | - 讨论水印的 3 个类别并参考：生成之前、生成期间和生成之后 |
| Stable Messenger：用于消息隐藏图像生成的隐写术 | - | 2023年 | - | Arxiv | - 事后水印 - 根据“潜在水印：在潜在扩散空间中注入和检测水印”在生成过程中嵌入水印，但我认为这实际上是事后的。 |
| 纸 | 会议记录/期刊 | 地点年份/最后更新 | 代码 | 替代 PDF 源 | 笔记 |
|---|---|---|---|---|---|
| StegaStamp：实物照片中的隐形超链接 | CVPR | 2020年 | 吉图布 | Arxiv | - 可以从视频流中捕获的物理图像中的水印 - “Towards the Vulnerability of Watermarking Artificial Intelligence generated Content”推测 Deepmind SynthID 的工作原理与此类似 |
| ChartStamp：用于实际应用的强大图表嵌入 | ACM MM | 2022年 | 吉图布 | - | - 与 StegaStamp 类似，但它在图像的平坦区域中引入的混乱更少 |
| 非对抗性示例：为稳健视觉设计对象 | 神经IPS | 2021年 | 吉图布 | Arxiv | - 扰动使检测更容易 |
| 纸 | 会议记录/期刊 | 地点年份/最后更新 | 代码 | 替代 PDF 源 | 笔记 |
|---|---|---|---|---|---|
| RAW：一个强大且敏捷的即插即用水印框架，用于人工智能生成的图像，并具有可证明的保证 | - | 2024年 | 吉图布 | Arxiv | - 从 arxiv 中撤回 |
| PiGW：插件生成水印框架 | - | 2024年 | 还没找过 | Arxiv | - 从 arxiv 中撤回 |
| 图像水印鲁棒性基准测试（等待ICML源码） | ICML | 2024年 | 吉图布 | Arxiv | - 待办事项 |
| WMAdapter：向潜在扩散模型添加 WaterMark 控制 | - | 2024年 | 还没找过 | Arxiv | - 待办事项 |
| 数字水印隐写分析：您的防御真的无懈可击吗？ | - | 2024年 | 还没找过 | Arxiv | - 待办事项 |
| 大海捞针：隐形水印检测的黑盒方法 | - | 2024年 | 还没找过 | Arxiv | - 待办事项 |
| ProMark：因果归因的主动扩散水印 | CVPR | 2024年 | - | Arxiv | - 待办事项 |
| 自监督潜在空间中的图像水印 | ICASSP | 2022年 | 吉图布 | Arxiv | - 待办事项 |
| 生成自动编码器作为水印攻击者：漏洞和威胁分析 | ICML 研讨会 DeployableGenerativeAI | 2023年 | - | - | - 使用LDM自动编码器攻击像素水印 |
| 使用生成人工智能可去除隐形图像水印 | - | 2023年 | 吉图布 | Arxiv | - 不是让模型生根，而是通过扩散净化去除水印 - 评估稳定签名和树环水印。年轮对于它们的攻击具有很强的抵抗力。 - 早期版本的生成自动编码器作为水印攻击者 |
| WaterDiff：通过扩散模型感知图像水印 | ICASSP 的 IVMSP-P2 研讨会 | 2024年 | - | - | - 待办事项 |
| 足够努力：用对抗性机器学习攻击感知哈希 | 优尼克 | 2022年 | - | - | - 对感知哈希的攻击 |
| 基于规避水印的人工智能生成内容检测 | CCS | 2023年 | 吉图布 | Arxiv | - 图像水印鲁棒性评估+规避对抗样本 |
| 对抗性净化的扩散模型 | ICML | 2022年 | 吉图布 | Arxiv | - 防御对抗性扰动，包括图像中难以察觉的水印 |
| 具有可逆噪声层的基于流的鲁棒水印，用于黑盒失真 | 全部 | 2023年 | 吉图布 | - | - 与 HiDDeN 类似，只是一个神经水印编码器/提取器 |
| HiDDeN：利用深度网络隐藏数据 | ECCV | 2018年 | 吉图布 | Arxiv | - 稳定签名中使用的主要工具 - 包含约可微分。 JPEG 压缩 - 动态水印 |
| Glaze：通过文本到图像模型保护艺术家免受风格模仿 | 优尼克 | 2023年 | 吉图布 | Arxiv | - 不是 Root，而是否认风格窃取 |
| DUAW：针对稳定扩散定制的无数据通用对抗水印 | - | 2023年 | - | Arxiv | - 乍一看与釉彩相似。作者可能不幸运地进行并行工作 |
| 使用可扩展指纹识别负责任地披露生成模型 | ICLR | 2022年 | 吉图布 | Arxiv | - 生根 GAN 模型。似乎引入了使用大消息空间快速可扩展地生成许多模型的想法（TODO：稍后检查），类似于稳定签名后来为稳定扩散所做的事情。 |
| 关于 Deepfakes 的归属 | - | 2020年 | - | Arxiv | - 他们表明可以创建看起来像是由目标模型生成的图像。他们还提出了一个如何实现此类案件推诿的框架。 |
| 走向盲水印：结合可逆和不可逆机制 | ACM MM | 2022年 | 吉图布 | Arxiv | - 不是关于 root 模型，而是关于攻击图像的事后水印 - 关于可逆神经网络的大量参考资料 |
| DocDiff：通过残余扩散模型增强文档 | ACM MM | 2023年 | 吉图布 | Arxiv | - 不是关于生根模型，而是关于图像的事后水印 - 包括经典的水印去除 |
| 战争：打破人工智能生成内容的水印保护 | - | 2023年 | 还没找过 | Arxiv | - 不是关于 root 模型，而是关于攻击事后水印 - 包括1.水印去除和2.锻造 |
| 利用优化对图像水印进行自适应攻击 | ICML（海报） | 2024年 | 还没找过 | Arxiv | - 不是关于 root 模型，而是关于攻击事后水印 |
| 针对基于扩散的编辑模型的某种鲁棒图像水印 | - | 2023年 | 还没找过 | Arxiv | - 不是关于生根模型，而是关于图像的事后水印 - 按字面意思获取水印并注入隐藏图像 |
| 嘿，那是我的，难以察觉的水印保留在扩散生成的输出中 | - | 2023年 | - | Arxiv | - 不是关于 root 模型。他们表明训练数据中的水印在输出中是可识别的，并且允许知识产权声明 |
| 图像水印鲁棒性基准测试 | - | 2024年 | 吉图布 | Arxiv | - 只是测试水印的基准/框架 |
| 自由微调：深度神经网络的即插即用水印方案 | ACM MM | 2023年 | 还没找过 | Arxiv | - 不是生成模型，而是判别模型 |
| 针对基于修复和盲目水印去除器的强大水印保护的对抗性攻击 | ACM MM | 2023年 | 还没找过 | - | - 事后水印具有增强的抗修复鲁棒性 |
| 一种增强 H.264/AVC 压缩鲁棒性的新型深度视频水印框架 | ACM MM | 2023年 | 吉图布 | - | - 视频事后水印 |
| 具有同步和融合功能的实用深度分散水印 | ACM MM | 2023年 | 还没找过 | Arxiv | - 图像的事后水印，增强了转换的鲁棒性 |
| 通过语言引导的对比学习进行可推广的合成图像检测 | - | 2023年 | 吉图布 | Arxiv | - 不是生根，而是GenAI图像检测 |
| 增强基于深度学习的指纹识别的鲁棒性以改善 Deepfake 归因 | ACM MM 亚洲 | 2022年 | - | - | - 不是生根，而是水印的转换鲁棒性策略 |
| 你偷了我的中奖彩票被抓了！制作一张彩票来声明其所有权 | 神经IPS | 2021年 | 吉图布 | Arxiv | - 为中奖彩票的稀疏掩模添加水印 |
| 自消耗生成模型变得疯狂 | ICLR（海报） | 2024年 | - | Arxiv | - 包含 GenAI 检测重要的原因：从训练集中删除生成的内容 |
| 纸 | 会议记录/期刊 | 地点年份/最后更新 | 代码 | 替代 PDF 源 | 笔记 |
|---|---|---|---|---|---|
| 具有本地化水印的语音克隆主动检测 | - | 2024年 | 吉图布 | Arxiv | - Meta/FAIR 作者 |
| MaskMark：用于真实和合成语音的鲁棒神经水印 | ICASSP | 2024年 | 音频样本 | IEEE探索 | - |
| 用于对抗性语音合成的协作水印 | ICASSP | 2024年 | - | Arxiv | - Meta/FAIR 作者 |
| HiFi-GAN：用于高效、高保真语音合成的生成对抗网络 | 神经IPS | 2020年 | 吉图布 | Arxiv | - 非常适合语音合成的 GAN（TODO：这是 SotA 吗？） - 即使在CPU上也可以进行实时合成 - 质量与自回归模型相当 |
| 使用神经声码器可以有效地创建用于语音欺骗对策的欺骗训练数据 | ICASSP | 2023年 | - | Arxiv | - 包括声码器生成的训练数据，以增强对抗措施的检测能力 |
| AudioQR：QR 码的深度神经音频水印 | IJCAI | 2023年 | 吉图布 | - | - 为视障人士提供难以察觉的音频中的二维码 |
| 纸 | 会议记录/期刊 | 地点年份/最后更新 | 代码 | 替代 PDF 源 | 笔记 |
|---|---|---|---|---|---|
| ASVspoof 2021 挑战赛 | - | 2021年 | 吉图布 | Arxiv | - 音频欺骗检测的挑战 |
| ADD 2022：首届音频深度合成检测挑战赛 | ICASSP | 2022年 | 吉图布 | Arxiv | - 官方中文挑战网站（无 HTTPS！） |
| 纸 | 会议记录/期刊 | 地点年份/最后更新 | 代码 | 替代 PDF 源 | 笔记 |
|---|---|---|---|---|---|
| 沙子里的水印：生成模型的强水印是不可能的 | - | 2023年 | 吉图布 | Arxiv | - |
| 对抗性水印变压器：通过数据隐藏追踪文本来源 | 标准普尔 | 2021年 | 吉图布 | Arxiv | - |
| LLM 生成代码的弹性水印 | - | 2024年 | Github 附录 | Arxiv | - 代码 |
| 通过纠错码为人工智能生成的文本提供可靠的多位水印 | - | 2024年 | - | Arxiv | - 纠错 |
| 人工智能生成文本的可证明的鲁棒水印 | ICLR | 2024年 | 吉图布 | Arxiv | - 显然良好且强大的LLM水印 |
| 向 LLM 注入多位信息的可编码水印 | ICLR | 2024年 | 吉图布 | Arxiv | - 待办事项 |
| 纸 | 会议记录/期刊 | 地点年份/最后更新 | 代码 | 替代 PDF 源 | 笔记 |
|---|---|---|---|---|---|
| 窃取机器学习模型：生成对抗网络的攻击和对策 | ACSAC | 2021年 | - | Arxiv | - |
| 深度生成模型的模型提取攻防 | 物理学杂志 | 2022年 | - | - | - |
| 生成对抗网络的模型提取和防御 | - | 2021年 | - | Arxiv | - |
| 纸 | 会议记录/期刊 | 地点年份/最后更新 | 代码 | 替代 PDF 源 | 笔记 |
|---|---|---|---|---|---|
| 鲁棒图像水印的综合综述 | 神经计算 | 2022年 | - | Arxiv | - 与模型生根无关 |
| 神经网络模型水印的系统综述 | 大数据前沿 | 2021年 | - | Arxiv | - 与模型生根无关 |
| 数字图像水印综合评述 | - | 2022年 | - | Arxiv | - 与模型生根无关 |
| 生成人工智能中的版权保护：技术视角 | - | 2024年 | - | Arxiv | - 关于 GenAI 中的一般知识产权保护 |
| AIGC 生成数据的安全和隐私：调查 | - | 2023年 | - | Arxiv | - 关于 GenAI 中的一般安全问题 |
| 检测大型人工智能模型生成的多媒体：一项调查 | - | 2024年 | - | Arxiv | - 关于一般检测 GenAI |
| 音频 Deepfake 检测：调查 | - | 2023年 | - | Arxiv | - 包含欺骗音频数据集、欺骗方法和检测方法的概述 - 非常好的服务 |
本次审查中给出的系统化总结。
| 目标 | 说明 | 动机 |
|---|---|---|
| 富达 | 对原始任务的高预测质量 | 模型性能不应显着下降 |
| 鲁棒性 | 水印应难以去除 | 防止侵犯版权 |
| 可靠性 | 最小的假阴性 | 确保合法所有权得到承认 |
| 正直 | 误报率极低 | 防止盗窃的错误指控 |
| 容量 | 支持大信息量 | 允许综合水印 |
| 保密 | 水印必须是秘密且不可检测的 | 防止未经授权的检测 |
| 效率 | 快速水印插入和验证 | 避免计算负担 |
| 概论 | 独立于数据集和机器学习算法 | 有利于广泛应用 |
