Awesome GenAI Watermarking
1.0.0
이 저장소에는 생성 AI 모델의 워터마킹 방법에 관한 논문이 포함되어 있습니다. 워터마킹은 눈에 띄지 않지만 복구 가능한 신호(페이로드)를 디지털 자산(커버)에 삽입하는 방법입니다. 생성 모델에는 모든 출력에서 워터마크를 생성하도록 모델을 훈련시키는 접근 방식이 있으며 이 동작은 비활성화하기 어렵습니다. 이를 "지문 루팅" 또는 간단히 "루팅" 이라고 합니다.
| 종이 | 절차 / 저널 | 장소 연도 / 마지막 업데이트 | 암호 | 대체 PDF 소스 | 메모 |
|---|---|---|---|---|---|
| 워터마킹은 암호화가 아닙니다 | IWDW | 2006년 | - | 작가 웹페이지 | - TODO |
| 종이 | 절차 / 저널 | 장소 연도 / 마지막 업데이트 | 암호 | 대체 PDF 소스 | 메모 |
|---|---|---|---|---|---|
| 생성 모델을 위한 인공 지문: 학습 데이터에서 딥페이크 속성 뿌리 뽑기 | ICCV | 2021 | - | 아르크시브 | - GAN 모델을 루팅합니다. 학습 데이터에 워터마크를 삽입하여 활용 양도성 |
| PTW: 사전 훈련된 이미지 생성기를 위한 중추적 튜닝 워터마킹 | 유즈닉스 | 2023년 | Github | 아르크시브 | - GAN에 초점을 맞추되 잠재 확산 모델도 작동해야 함 |
| 안정적인 서명: 잠재 확산 모델의 루팅 워터마크 | ICCV | 2023년 | Github | 아르크시브 | - 메타/FAIR 작성자 인코더/디코더에 따라 모델을 미세 조정하여 출력에 비밀 메시지를 표시합니다. - 워터마크 제거 및 모델 정제(품질 저하)에 강함 - 정적 워터마킹 |
| 안정적인 서명은 불안정합니다: 확산 모델에서 이미지 워터마크 제거 | - | 2024년 | - | 아르크시브 | - Finetuning을 통한 안정적인 Signature 모델 정제 |
| 잠재 확산 모델을 위한 유연하고 안전한 워터마킹 | ACMMM | 2023년 | - | - | - Stable Signature를 참조하고 미세 조정을 통해 다양한 메시지를 삽입할 수 있어 유연성을 추가하여 향상됩니다. |
| 안정적인 확산을 위한 교육이 필요 없는 플러그 앤 플레이 워터마크 프레임워크 | - | 2024년 | - | 아르크시브 | - TODO |
| WOUAF: 텍스트-이미지 확산 모델에서 사용자 속성 및 지문 인식을 위한 가중치 변조 | 확산 모델에 관한 NeurIPS 워크숍 | 2023년 | - | 아르크시브 | - TODO |
| RoSteALS: 오토인코더 잠재 공간을 사용한 강력한 스테가노그래피 | CVPR 워크숍(CVPRW) | 2023년 | Github | 아르크시브 | - 사후 워터마킹 |
| DiffusionShield: 생성 확산 모델에 대한 저작권 보호를 위한 워터마크 | 확산 모델에 관한 NeurIPS 워크숍 | 2023년 | - | 아르크시브 | - 루팅에 관한 것이 아닙니다. -확산 모델에서 훈련 데이터로 사용될 경우 재현되는 데이터 중독 방지 이미지 |
| 워터마킹 확산 모델을 위한 레시피 | - | 2023년 | Github | 아르크시브 | - 1. 워터마크가 있는 데이터에 대한 처음부터 훈련을 통한 소규모 무조건/클래스 조건 DM 및 2. 백도어 트리거 출력 미세 조정을 통한 텍스트-이미지 DM을 위한 프레임워크 - 워터마킹 판별 모델에 대한 많은 참고 자료 - 정적 워터마킹 |
| 워터마크 확산과정을 통한 확산모델의 지적재산권 보호 | - | 2023년 | - | 아르크시브 | - 위협 모델: 모델에 접근하여 모델의 소유권을 확인합니다. - 읽기 어렵다 - 많은 참고 자료를 통해 정적 워터마킹과 동적 워터마킹 의 차이점을 설명합니다. |
| 범용 적대적 서명으로 심층 생성 모델 보호 | - | 2023년 | Github | 아르크시브 | - 1. 이미지에 가장 적합한 시그니처를 개별적으로 찾아냅니다. - 2. 이 이미지에서 GenAI 모델을 미세 조정합니다. |
| 워터마킹 확산 모델 | - | 2023년 | - | 아르크시브 | - 백도어 트리거 출력 미세 조정 - 정적 워터마킹 - CISPA 저자 |
| 모든 곳에서 모든 것을 포착하세요: 개념 워터마킹을 통한 텍스트 반전 방지 | - | 2023년 | - | 아르크시브 | - 생성된 이미지에서 개념을 식별할 수 있도록 함으로써 텍스트 반전(이미지는 한 단어만큼 가치가 있습니다: 텍스트 반전을 사용한 텍스트-이미지 생성 개인화)을 통해 얻은 개념을 남용으로부터 보호합니다. - 워터마킹에 대한 기업과 정부의 입장에 대한 매우 흥미로운 참고 자료 |
| 무단 피사체 기반 이미지 합성에 대한 생성적 워터마킹 | - | 2023년 | - | 아르크시브 | - 보호된 소스 이미지로부터 스타일 합성이 방지되지 않지만 워터마크를 통해 인식할 수 있다는 점에서 Glaze와 다릅니다. - CISPA 저자 |
| 인공지능 생성 콘텐츠 워터마킹의 취약점에 대하여 | - | 2024년 | - | 오픈리뷰 | - GAN을 이용한 워터마크 제거 및 위변조를 한 가지 방법으로 수행 - 두 가지 유형의 워터마킹 참조: 1. 워터마킹된 출력을 생성하기 위한 모델 학습/미세 조정 및 2. 사후 워터마킹 (정적 대 동적, "워터마크 확산 프로세스를 통한 확산 모델의 지적 재산권 보호" 참조) |
| AI 이미지 탐지기의 견고성: 근본적인 한계와 실제 공격 | ICLR | 2024년 | Github | 아르크시브 | - 저예산 워터마킹 방법이 확산 정화에 압도됨을 보여주고, 모델 대체를 통해 고예산 워터마크까지 제거할 수 있는 공격을 제안 |
| 이미지 워터마크에 대한 전송 공격 | - | 2024년 | - | 아르크시브 | - 탐지기에 대한 "박스 없음" 공격을 통해 워터마크 제거(탐지기 API에 액세스하지 않고 대신 워터마크가 있는 이미지와 바닐라 이미지를 구별하기 위해 분류기를 훈련함) |
| EditGuard: 변조 현지화 및 저작권 보호를 위한 다목적 이미지 워터마킹 | CVPR | 2024년 | Github | 아르크시브 | - 변조 위치 파악을 통한 사후 워터마킹 |
| 잠재 워터마크: 잠재 확산 공간에 워터마크를 주입하고 검출합니다. | - | 2024년 | - | 아르크시브 | - 워터마크 생성 전, 생성 중, 생성 후의 3가지 범주를 참고 자료와 함께 논의합니다. |
| 안정적인 메신저: 메시지 숨김 이미지 생성을 위한 스테가노그래피 | - | 2023년 | - | 아르크시브 | - 사후 워터마킹 - "Latent Watermark: Inject and Detect Watermarks in Latent Diffusion Space"에 따라 생성 시 워터마크 삽입이 이루어지나 실제로는 post-hoc이라고 생각합니다. |
| 종이 | 절차 / 저널 | 장소 연도 / 마지막 업데이트 | 암호 | 대체 PDF 소스 | 메모 |
|---|---|---|---|---|---|
| StegaStamp: 실제 사진의 보이지 않는 하이퍼링크 | CVPR | 2020 | Github | 아르크시브 | - 비디오 스트림에서 캡처할 수 있는 실제 이미지의 워터마크 - "인공지능 생성 콘텐츠 워터마킹의 취약성에 대하여"에서는 Deepmind SynthID가 이와 유사하게 작동한다고 추측합니다. |
| ChartStamp: 실제 애플리케이션을 위한 강력한 차트 임베딩 | ACMMM | 2022년 | Github | - | - StegaStamp와 비슷하지만 이미지의 평평한 영역이 덜 복잡해집니다. |
| 적대적이지 않은 예: 강력한 비전을 위한 객체 설계 | NeurIPS | 2021 | Github | 아르크시브 | - 감지를 더 쉽게 하기 위한 섭동 |
| 종이 | 절차 / 저널 | 장소 연도 / 마지막 업데이트 | 암호 | 대체 PDF 소스 | 메모 |
|---|---|---|---|---|---|
| RAW: 입증 가능한 보증을 갖춘 AI 생성 이미지를 위한 강력하고 민첩한 플러그 앤 플레이 워터마크 프레임워크 | - | 2024년 | Github | 아르크시브 | -arxiv에서 탈퇴 |
| PiGW: 플러그인 생성 워터마킹 프레임워크 | - | 2024년 | 아직 찾아보지 못했어요 | 아르크시브 | -arxiv에서 탈퇴 |
| 이미지 워터마크의 견고성 벤치마킹(ICML 소스 대기) | ICML | 2024년 | Github | 아르크시브 | - TODO |
| WMAdapter: 잠재 확산 모델에 WaterMark 제어 추가 | - | 2024년 | 아직 찾아보지 못했어요 | 아르크시브 | - TODO |
| 디지털 워터마킹에 대한 스테가분석: 귀하의 방어는 정말로 안전합니까? | - | 2024년 | 아직 찾아보지 못했어요 | 아르크시브 | - TODO |
| 건초 더미에서 바늘 찾기: 보이지 않는 워터마크 감지를 위한 블랙박스 접근 방식 | - | 2024년 | 아직 찾아보지 못했어요 | 아르크시브 | - TODO |
| ProMark: 인과관계 귀속을 위한 사전 예방적 확산 워터마킹 | CVPR | 2024년 | - | 아르크시브 | - TODO |
| 자체 감독 잠재 공간의 이미지 워터마킹 | ICASSP | 2022년 | Github | 아르크시브 | - TODO |
| 워터마크 공격자로서의 생성적 자동 인코더: 취약성 및 위협 분석 | ICML 워크숍 배포 가능GenerativeAI | 2023년 | - | - | - LDM 오토인코더를 이용한 픽셀 워터마크 공격 |
| 보이지 않는 이미지 워터마크는 생성 AI를 사용하여 제거 가능하게 입증되었습니다. | - | 2023년 | Github | 아르크시브 | - 모델을 루팅하는 것이 아니라 확산 정화로 워터마크를 제거하는 것입니다. - 안정적인 시그니처와 Tree-Ring Watermark를 평가합니다. 나이테는 그들의 공격에 강합니다. - 워터마크 공격자로서의 생성적 자동 인코더의 이전 버전 |
| WaterDiff: 확산 모델을 통한 지각적 이미지 워터마크 | ICASSP의 IVMSP-P2 워크숍 | 2024년 | - | - | - TODO |
| 충분히 Squint Hard Enough: 적대적 기계 학습을 통한 지각 해싱 공격 | 유즈닉스 | 2022년 | - | - | - 인지 해시에 대한 공격 |
| AI 생성 콘텐츠의 워터마크 기반 탐지 회피 | CCS | 2023년 | Github | 아르크시브 | - 이미지 워터마크의 강인성 평가 + 회피를 위한 적대적 샘플 |
| 적대적 정제를 위한 확산 모델 | ICML | 2022년 | Github | 아르크시브 | - 이미지에 감지할 수 없는 워터마크를 포함하여 적대적인 섭동에 대한 방어 |
| 블랙박스 왜곡을 위한 가역적 노이즈 레이어를 갖춘 흐름 기반의 강력한 워터마킹 | AIII | 2023년 | Github | - | - HiDDeN과 마찬가지로 신경 워터마크 인코더/추출기 |
| HiDDeN: 심층 네트워크로 데이터 숨기기 | ECCV | 2018 | Github | 아르크시브 | - Stable Signature에서 사용되는 주요 도구 - 미분 가능한 약을 포함합니다. JPEG 압축 - 동적 워터마킹 |
| Glaze: 텍스트-이미지 모델을 통한 스타일 모방으로부터 아티스트 보호 | 유즈닉스 | 2023년 | Github | 아르크시브 | - 루팅이 아닌 스타일 훔치기를 부정하는 것 |
| DUAW: 안정적인 확산 사용자 정의에 대한 데이터 없는 범용 적대 워터마크 | - | 2023년 | - | 아르크시브 | - 얼핏 보면 Glaze와 비슷해 보입니다. 작성자가 동시 작업을 수행하는 것이 운이 좋지 않았을 수도 있습니다. |
| 확장 가능한 핑거프린팅을 사용한 생성 모델의 책임 있는 공개 | ICLR | 2022년 | Github | 아르크시브 | - GAN 모델을 루팅합니다. Stable Signature가 나중에 안정적인 확산을 위해 했던 방식과 유사하게, 큰 메시지 공간(할 일: 나중에 확인)으로 많은 모델을 빠르게 확장 가능하게 생성하는 아이디어를 도입한 것 같습니다. |
| 딥페이크의 귀속 | - | 2020 | - | 아르크시브 | - 대상 모델에 의해 생성된 것처럼 보이는 이미지가 생성될 수 있음을 보여줍니다. 그들은 또한 그러한 경우에 대한 거부성을 달성하는 방법에 대한 프레임워크를 제안합니다. |
| 블라인드 워터마킹을 향하여: 가역적 메커니즘과 비가역적 메커니즘의 결합 | ACMMM | 2022년 | Github | 아르크시브 | - 모델을 루팅하는 것이 아니라, 이미지의 사후 워터마킹을 공격하는 것입니다. - 반전 가능한 NN에 대한 많은 참고 자료 |
| DocDiff: 잔여 확산 모델을 통한 문서 향상 | ACMMM | 2023년 | Github | 아르크시브 | - 모델을 루팅하는 것이 아니라 이미지에 사후 워터마킹을 하는 것입니다. - 클래식 워터마크 제거 포함 |
| 전쟁: AI 생성 콘텐츠의 워터마크 보호 깨기 | - | 2023년 | 아직 찾아보지 못했어요 | 아르크시브 | - 모델을 루팅하는 것이 아니라 사후 워터마킹을 공격하는 것입니다. - 1. 워터마크 제거 2. 위조 포함 |
| 이미지 워터마크에 대한 적응형 공격에 대한 최적화 활용 | ICML(포스터) | 2024년 | 아직 찾아보지 못했어요 | 아르크시브 | - 모델을 루팅하는 것이 아니라 사후 워터마킹을 공격하는 것입니다. |
| 확산 기반 편집 모델에 대한 다소 강력한 이미지 워터마크 | - | 2023년 | 아직 찾아보지 못했어요 | 아르크시브 | - 모델을 루팅하는 것이 아니라 이미지에 사후 워터마킹을 하는 것입니다. - 워터마크를 문자 그대로 가져와 숨겨진 이미지를 삽입합니다. |
| 안녕하세요, 감지할 수 없는 워터마크가 확산 생성 출력에 보존됩니다. | - | 2023년 | - | 아르크시브 | - 모델을 루팅하는 것이 아닙니다. 훈련 데이터의 워터마크는 출력에서 인식 가능하며 지적 재산권 주장을 허용한다는 것을 보여줍니다. |
| 이미지 워터마크의 견고성 벤치마킹 | - | 2024년 | Github | 아르크시브 | - 워터마크를 테스트하기 위한 벤치마크/프레임워크일 뿐입니다. |
| 무료 미세 조정: 심층 신경망을 위한 플러그 앤 플레이 워터마킹 체계 | ACMMM | 2023년 | 아직 찾아보지 못했어요 | 아르크시브 | - 생성 모델이 아닌 차별 모델에 관한 것입니다. |
| 인페인팅 기반 및 블라인드 워터마크 제거기에 대한 강력한 워터마크 보호를 위한 적대적 공격 | ACMMM | 2023년 | 아직 찾아보지 못했어요 | - | - 인페인팅에 대한 견고성이 강화된 사후 워터마크 |
| H.264/AVC 압축에 대한 견고성이 향상된 새로운 심층 비디오 워터마킹 프레임워크 | ACMMM | 2023년 | Github | - | - 영상에 대한 사후 워터마크 |
| 동기화 및 융합을 통한 실용적인 심층 분산 워터마킹 | ACMMM | 2023년 | 아직 찾아보지 못했어요 | 아르크시브 | - 변환에 대한 견고성이 강화된 이미지용 사후 워터마크 |
| 언어 기반 대조 학습을 통한 일반화 가능한 합성 이미지 감지 | - | 2023년 | Github | 아르크시브 | - 루팅이 아닌 GenAI 이미지 감지 |
| 딥페이크 어트리뷰션 개선을 위해 딥러닝 기반 지문 인식의 견고성 강화 | ACM MM-아시아 | 2022년 | - | - | - 루팅이 아닌 워터마크에 대한 변형 강인성 전략 |
| 당신은 내 당첨 복권을 훔치다 적발되었습니다! 복권의 소유권을 주장하도록 만드는 것 | NeurIPS | 2021 | Github | 아르크시브 | - 당첨된 복권의 희박 마스크 워터마킹 |
| 자체 소비 생성 모델이 미친 듯이 발전함 | ICLR(포스터) | 2024년 | - | 아르크시브 | - GenAI 탐지가 중요한 이유를 담고 있습니다: 훈련 세트에서 생성된 콘텐츠 제거 |
| 종이 | 절차 / 저널 | 장소 연도 / 마지막 업데이트 | 암호 | 대체 PDF 소스 | 메모 |
|---|---|---|---|---|---|
| 지역화된 워터마킹을 통한 음성 복제의 사전 탐지 | - | 2024년 | Github | 아르크시브 | - 메타/FAIR 작성자 |
| MaskMark: 실제 음성과 합성 음성을 위한 강력한 신경 워터마킹 | ICASSP | 2024년 | 오디오 샘플 | IEE탐색하기 | - |
| 적대적 음성 합성을 위한 협업 워터마킹 | ICASSP | 2024년 | - | 아르크시브 | - 메타/FAIR 작성자 |
| HiFi-GAN: 효율적이고 충실도가 높은 음성 합성을 위한 생성적 적대 신경망 | NeurIPS | 2020 | Github | 아르크시브 | - 음성 합성을 위한 매우 우수한 GAN(TODO: SotA인가요?) - CPU에서도 실시간 합성 가능 - 품질은 자기회귀 모델과 동등합니다. |
| 음성 스푸핑 대책을 위한 스푸핑 훈련 데이터는 신경 보코더를 사용하여 효율적으로 생성될 수 있습니다 | ICASSP | 2023년 | - | 아르크시브 | - 보코더 생성 훈련 데이터를 포함하여 대응책 탐지 능력 강화 |
| AudioQR: QR 코드용 심층 신경 오디오 워터마크 | IJCAI | 2023년 | Github | - | - 시각 장애인을 위한 오디오의 감지할 수 없는 QR 코드 |
| 종이 | 절차 / 저널 | 장소 연도 / 마지막 업데이트 | 암호 | 대체 PDF 소스 | 메모 |
|---|---|---|---|---|---|
| ASVspoof 2021 챌린지 | - | 2021 | Github | 아르크시브 | - 오디오 스푸핑 탐지에 대한 도전 |
| ADD 2022: 최초의 오디오 심층 합성 감지 챌린지 | ICASSP | 2022년 | Github | 아르크시브 | - 공식 중국어 챌린지 웹사이트(HTTPS가 없습니다!) |
| 종이 | 절차 / 저널 | 장소 연도 / 마지막 업데이트 | 암호 | 대체 PDF 소스 | 메모 |
|---|---|---|---|---|---|
| 모래 위의 워터마크: 생성 모델에 대한 강력한 워터마킹 불가능 | - | 2023년 | Github | 아르크시브 | - |
| 적대적 워터마킹 변환기: 데이터 은닉을 통한 텍스트 출처 추적을 향하여 | S&P | 2021 | Github | 아르크시브 | - |
| LLM 생성 코드에 대한 탄력적인 워터마킹 | - | 2024년 | Github 부록 | 아르크시브 | - 코드 |
| 오류 수정 코드를 통해 AI 생성 텍스트에 대한 입증된 강력한 다중 비트 워터마킹 | - | 2024년 | - | 아르크시브 | - 오류 수정 |
| AI 생성 텍스트를 위한 입증 가능한 강력한 워터마킹 | ICLR | 2024년 | Github | 아르크시브 | - 분명히 훌륭하고 강력한 LLM 워터마킹 |
| LLM에 다중 비트 정보를 주입하기 위한 코딩 가능한 워터마킹을 향하여 | ICLR | 2024년 | Github | 아르크시브 | - TODO |
| 종이 | 절차 / 저널 | 장소 연도 / 마지막 업데이트 | 암호 | 대체 PDF 소스 | 메모 |
|---|---|---|---|---|---|
| 기계 학습 모델 훔치기: 생성적 적대 신경망(Generative Adversarial Network)에 대한 공격 및 대응책 | ACSAC | 2021 | - | 아르크시브 | - |
| 심층 생성 모델에 대한 모델 추출 공격 및 방어 | 물리학 저널 | 2022년 | - | - | - |
| 생성적 적대 신경망(Generative Adversarial Network)의 모델 추출 및 방어 | - | 2021 | - | 아르크시브 | - |
| 종이 | 절차 / 저널 | 장소 연도 / 마지막 업데이트 | 암호 | 대체 PDF 소스 | 메모 |
|---|---|---|---|---|---|
| 강력한 이미지 워터마킹에 대한 종합적인 조사 | 신경컴퓨팅 | 2022년 | - | 아르크시브 | - 모델 루팅에 관한 것이 아닙니다. |
| 신경망 모델 워터마킹에 대한 체계적인 검토 | 빅 데이터의 개척지 | 2021 | - | 아르크시브 | - 모델 루팅에 관한 것이 아닙니다. |
| 디지털 이미지 워터마킹에 대한 종합적인 검토 | - | 2022년 | - | 아르크시브 | - 모델 루팅에 관한 것이 아닙니다. |
| 제너레이티브 AI의 저작권 보호: 기술적 관점 | - | 2024년 | - | 아르크시브 | - GenAI의 IP 보호 전반에 대해 |
| AIGC의 생성 데이터에 대한 보안 및 개인정보 보호: 설문조사 | - | 2023년 | - | 아르크시브 | - GenAI의 전반적인 보안 측면에 대해 |
| 대규모 AI 모델에서 생성된 멀티미디어 감지: 설문조사 | - | 2024년 | - | 아르크시브 | - GenAI 전반의 탐지에 대하여 |
| 오디오 딥페이크 탐지: 설문조사 | - | 2023년 | - | 아르크시브 | - 스푸핑된 오디오 데이터 세트, 스푸핑 방법 및 탐지 방법에 대한 개요가 포함되어 있습니다. - 아주 좋은 서비스 |
이 리뷰에 제시된 체계화 요약.
| 목표 | 설명 | 동기 부여 |
|---|---|---|
| 충실도 | 원래 작업에 대한 높은 예측 품질 | 모델 성능이 크게 저하되어서는 안 됩니다. |
| 견고성 | 워터마크는 제거되지 않아야 합니다. | 저작권 회피로부터 보호합니다 |
| 신뢰할 수 있음 | 최소한의 위음성 | 정당한 소유권이 인정되도록 보장 |
| 진실성 | 최소한의 오탐지 | 도난에 대한 부당한 비난을 방지합니다. |
| 용량 | 대용량 정보 지원 | 포괄적인 워터마크를 허용합니다 |
| 비밀 | 워터마크는 비밀이어야 하며 감지할 수 없어야 합니다. | 무단 탐지 방지 |
| 능률 | 빠른 워터마크 삽입 및 검증 | 계산 부담 방지 |
| 대부분 | 데이터 세트 및 ML 알고리즘에 독립적 | 광범위한 적용을 촉진합니다. |
