Awesome GenAI Watermarking
1.0.0
Dieses Repo enthält Artikel über die Wasserzeichenmethoden für generative KI-Modelle. Wasserzeichen sind eine Methode zum Einbetten eines nicht wahrnehmbaren, aber wiederherstellbaren Signals (Nutzlast) in ein digitales Asset (Cover). Bei generativen Modellen gibt es Ansätze, die das Modell trainieren, das Wasserzeichen in jeder Ausgabe zu erzeugen, und dieses Verhalten sollte schwer zu deaktivieren sein. Wir bezeichnen dies als „Fingerprint Rooting“ oder einfach nur „Rooting“ .
Papier | Tagungsband / Journal | Jahr des Veranstaltungsortes / Letzte Aktualisierung | Code | Alternative PDF-Quelle | Notizen |
---|---|---|---|---|---|
Wasserzeichen sind keine Kryptographie | IWDW | 2006 | - | Autoren-Webseite | - TODO |
Papier | Tagungsband / Journal | Jahr des Veranstaltungsortes / Letzte Aktualisierung | Code | Alternative PDF-Quelle | Notizen |
---|---|---|---|---|---|
Künstlicher Fingerabdruck für generative Modelle: Deepfake-Attribution in Trainingsdaten verwurzeln | ICCV | 2021 | - | Arxiv | - Rooten von GAN-Modellen. Durch Einbettung von Wasserzeichen in Trainingsdaten zur Nutzung Übertragbarkeit |
PTW: Pivotal Tuning Watermarking für vorab trainierte Bildgeneratoren | USENIX | 2023 | Github | Arxiv | - Konzentrieren Sie sich auf GANs, aber auch latente Diffusionsmodelle sollten funktionieren |
Die stabile Signatur: Rooting-Wasserzeichen in latenten Diffusionsmodellen | ICCV | 2023 | Github | Arxiv | - Meta/FAIR-Autor Optimieren Sie ein Modell entsprechend dem Encoder/Decoder, um eine geheime Nachricht in seiner Ausgabe preiszugeben. - robust gegenüber Wasserzeichenentfernung und Modellreinigung (Qualitätsverschlechterung) - Statisches Wasserzeichen |
Stabile Signatur ist instabil: Bildwasserzeichen aus Diffusionsmodellen entfernen | - | 2024 | - | Arxiv | - Stabile Signature-Modellreinigung durch Feinabstimmung |
Flexibles und sicheres Wasserzeichen für das Modell der latenten Diffusion | ACM MM | 2023 | - | - | - Verweist auf die stabile Signatur und verbessert die Flexibilität, indem es die Einbettung verschiedener Nachrichten und die Feinabstimmung ermöglicht |
Ein schulungsfreies Plug-and-Play-Wasserzeichen-Framework für eine stabile Verbreitung | - | 2024 | - | Arxiv | - TODO |
WOUAF: Gewichtsmodulation für Benutzerzuordnung und Fingerabdruck in Text-zu-Bild-Diffusionsmodellen | NeurIPS-Workshop zu Diffusionsmodellen | 2023 | - | Arxiv | - TODO |
RoSteALS: Robuste Steganographie mit Autoencoder Latent Space | CVPR-Workshops (CVPRW) | 2023 | Github | Arxiv | - Post-hoc-Wasserzeichen |
DiffusionShield: Ein Wasserzeichen zum Urheberrechtsschutz vor generativen Diffusionsmodellen | NeurIPS-Workshop zu Diffusionsmodellen | 2023 | - | Arxiv | - Nicht um Rooting Durch Data Poisoning geschützte Bilder, die reproduziert werden, wenn sie als Trainingsdaten im Diffusionsmodell verwendet werden |
Ein Rezept für Wasserzeichen-Diffusionsmodelle | - | 2023 | Github | Arxiv | - Framework für 1. kleine unbedingte/klassenbedingte DMs durch Training von Grund auf auf mit Wasserzeichen versehenen Daten und 2. Text-zu-Bild-DMs durch Feinabstimmung einer Backdoor-Trigger-Ausgabe - Viele Referenzen zu diskriminierenden Wasserzeichenmodellen - Statisches Wasserzeichen |
Schutz des geistigen Eigentums von Diffusionsmodellen durch den Wasserzeichendiffusionsprozess | - | 2023 | - | Arxiv | - Bedrohungsmodell: Überprüfen Sie den Besitz des Modells, indem Sie Zugriff auf das Modell haben - Schwer zu lesen – Erklärt den Unterschied zwischen statischem und dynamischem Wasserzeichen mit vielen Referenzen |
Sicherung tiefgreifender generativer Modelle mit universeller kontradiktorischer Signatur | - | 2023 | Github | Arxiv | - 1. Finden Sie individuell die optimale Signatur für ein Bild. - 2. Feinabstimmung eines GenAI-Modells anhand dieser Bilder. |
Wasserzeichen-Diffusionsmodell | - | 2023 | - | Arxiv | - Feinabstimmung eines Backdoor-Trigger-Ausgangs - Statisches Wasserzeichen - CISPA-Autoren |
Erfassen Sie alles überall: Textumkehrung durch Konzept-Wasserzeichen schützen | - | 2023 | - | Arxiv | - Schützt Konzepte, die durch Textinversion erhalten wurden (An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion), vor Missbrauch, indem es die Identifizierung von Konzepten in generierten Bildern ermöglicht. - Sehr interessante Referenzen zur Haltung von Unternehmen und Regierungen zum Thema Wasserzeichen |
Generatives Wasserzeichen gegen unbefugte subjektgesteuerte Bildsynthese | - | 2023 | - | Arxiv | - Anders als bei Glaze wird die Stilsynthese aus geschützten Quellbildern nicht verhindert, sondern ist über Wasserzeichen erkennbar - CISPA-Autoren |
Auf dem Weg zur Verwundbarkeit der Wasserzeichenmarkierung von durch künstliche Intelligenz generierten Inhalten | - | 2024 | - | OpenReview | - Wasserzeichenentfernung und -fälschung in einer Methode mithilfe von GAN - Bezieht sich auf zwei Arten von Wasserzeichen: 1. Lern-/Feinabstimmungsmodell, um eine mit Wasserzeichen versehene Ausgabe zu erzeugen, und 2. Post-hoc-Wasserzeichen nachträglich (statisch vs. dynamisch, siehe „Schutz des geistigen Eigentums von Diffusionsmodellen über den Wasserzeichendiffusionsprozess“). |
Robustheit von KI-Bilddetektoren: Grundlegende Grenzen und praktische Angriffe | ICLR | 2024 | Github | Arxiv | - Sie zeigen, dass Low-Budget-Wasserzeichenmethoden durch Diffusionsreinigung übertroffen werden, und schlagen einen Angriff vor, der sogar High-Budget-Wasserzeichen durch Modellsubstitution entfernen kann |
Ein Übertragungsangriff auf Bildwasserzeichen | - | 2024 | - | Arxiv | - Wasserzeichenentfernung durch „No-Box“-Angriff auf Detektoren (kein Zugriff auf die Detektor-API, stattdessen Trainingsklassifikator zur Unterscheidung von mit Wasserzeichen versehenen und Vanilla-Bildern) |
EditGuard: Vielseitige Bildwasserzeichen zur Lokalisierung von Manipulationen und zum Schutz des Urheberrechts | CVPR | 2024 | Github | Arxiv | - Post-hoc-Wasserzeichen mit Manipulationslokalisierung |
Latentes Wasserzeichen: Wasserzeichen in den latenten Diffusionsraum einfügen und erkennen | - | 2024 | - | Arxiv | - Bespricht 3 Kategorien für Wasserzeichen mit Referenzen: vor, während und nach der Generierung |
Stable Messenger: Steganographie zur nachrichtenverborgenen Bilderzeugung | - | 2023 | - | Arxiv | - Post-hoc-Wasserzeichen - Einbettung von Wasserzeichen während der Generierung gemäß „Latent Watermark: Inject and Detect Watermarks in Latent Diffusion Space“, aber ich denke, es ist eigentlich post-hoc. |
Papier | Tagungsband / Journal | Jahr des Veranstaltungsortes / Letzte Aktualisierung | Code | Alternative PDF-Quelle | Notizen |
---|---|---|---|---|---|
StegaStamp: Unsichtbare Hyperlinks in physischen Fotos | CVPR | 2020 | Github | Arxiv | - Wasserzeichen in physischen Bildern, die aus dem Videostream erfasst werden können – „Towards the Vulnerability of Watermarking Artificial Intelligence Generated Content“ spekuliert, dass Deepmind SynthID ähnlich funktioniert |
ChartStamp: Robuste Diagrammeinbettung für reale Anwendungen | ACM MM | 2022 | Github | - | - Wie StegaStamp, aber es führt zu weniger Unordnung in flachen Bildbereichen |
Unkontroverse Beispiele: Entwerfen von Objekten für robustes Sehen | NeurIPS | 2021 | Github | Arxiv | - Störungen, um die Erkennung zu erleichtern |
Papier | Tagungsband / Journal | Jahr des Veranstaltungsortes / Letzte Aktualisierung | Code | Alternative PDF-Quelle | Notizen |
---|---|---|---|---|---|
RAW: Ein robustes und agiles Plug-and-Play-Wasserzeichen-Framework für KI-generierte Bilder mit nachweisbaren Garantien | - | 2024 | Github | Arxiv | - Von arxiv zurückgezogen |
PiGW: Ein Plug-in-Framework für generatives Wasserzeichen | - | 2024 | Habe noch nicht danach gesucht | Arxiv | - Von arxiv zurückgezogen |
Benchmarking der Robustheit von Bildwasserzeichen (Warten Sie auf die ICML-Quelle) | ICML | 2024 | Github | Arxiv | - TODO |
WMAdapter: Hinzufügen einer WaterMark-Steuerung zu Modellen mit latenter Diffusion | - | 2024 | Habe noch nicht danach gesucht | Arxiv | - TODO |
Steganalyse zum digitalen Wasserzeichen: Ist Ihre Verteidigung wirklich undurchdringlich? | - | 2024 | Habe noch nicht danach gesucht | Arxiv | - TODO |
Nadeln im Heuhaufen finden: Ein Black-Box-Ansatz zur Erkennung unsichtbarer Wasserzeichen | - | 2024 | Habe noch nicht danach gesucht | Arxiv | - TODO |
ProMark: Proaktives Diffusionswasserzeichen für die Ursachenzuordnung | CVPR | 2024 | - | Arxiv | - TODO |
Wasserzeichen für Bilder in selbstüberwachten latenten Räumen | ICASSP | 2022 | Github | Arxiv | - TODO |
Generative Autoencoder als Wasserzeichen-Angreifer: Analysen von Schwachstellen und Bedrohungen | ICML-Workshop DeployableGenerativeAI | 2023 | - | - | – Angriff auf Pixel-Wasserzeichen mithilfe von LDM-Autoencodern |
Unsichtbare Bildwasserzeichen können mithilfe generativer KI nachweislich entfernt werden | - | 2023 | Github | Arxiv | - Es geht nicht darum, ein Modell zu rooten, sondern Wasserzeichen durch Diffusionsreinigung zu entfernen - Bewertet stabile Signaturen und Baumring-Wasserzeichen. Baumringe sind robust gegen ihren Angriff. – Frühere Version generativer Autoencoder als Wasserzeichen-Angreifer |
WaterDiff: Wahrnehmungsbildwasserzeichen über ein Diffusionsmodell | IVMSP-P2 Workshop bei ICASSP | 2024 | - | - | - TODO |
Hart genug schielen: Wahrnehmungs-Hashing mit kontradiktorischem maschinellem Lernen bekämpfen | USENIX | 2022 | - | - | - Angriffe auf Wahrnehmungs-Hashes |
Umgehen der wasserzeichenbasierten Erkennung von KI-generierten Inhalten | CCS | 2023 | Github | Arxiv | - Bewertung der Robustheit von Bildwasserzeichen + Gegenprobe zur Umgehung |
Diffusionsmodelle zur gegnerischen Reinigung | ICML | 2022 | Github | Arxiv | - Verteidigung gegen kontroverse Störungen, einschließlich nicht wahrnehmbarer Wasserzeichen in Bildern |
Flussbasiertes robustes Wasserzeichen mit invertierbarer Rauschschicht für Black-Box-Verzerrungen | AIII | 2023 | Github | - | - Wie HiDDeN, nur ein Encoder/Extraktor für neuronale Wasserzeichen |
HiDDeN: Daten mit Deep Networks verstecken | ECCV | 2018 | Github | Arxiv | - Hauptwerkzeug, das in Stable Signature verwendet wird - Enthält differenzierbare ca. der JPEG-Komprimierung - Dynamisches Wasserzeichen |
Glasur: Schutz von Künstlern vor Stilnachahmung durch Text-zu-Bild-Modelle | USENIX | 2023 | Github | Arxiv | - Es geht nicht um Rooting, sondern darum, Style-Stealing zu leugnen |
DUAW: Datenfreies universelles kontradiktorisches Wasserzeichen gegen stabile Diffusionsanpassung | - | 2023 | - | Arxiv | - Scheint auf den ersten Blick ähnlich wie Glaze. Möglicherweise hatten die Autoren Pech, parallel zu arbeiten |
Verantwortungsvolle Offenlegung generativer Modelle mittels skalierbarem Fingerprinting | ICLR | 2022 | Github | Arxiv | - Rooten von GAN-Modellen. Scheint die Idee eingeführt zu haben, viele Modelle schnell und mit großem Nachrichtenraum skalierbar zu produzieren (TODO: Schauen Sie sich das später an), ähnlich wie Stable Signature es später für eine stabile Verbreitung tat. |
Zur Namensnennung von Deepfakes | - | 2020 | - | Arxiv | - Sie zeigen, dass ein Bild erstellt werden kann, das aussieht, als wäre es von einem Zielmodell erstellt worden. Sie schlagen außerdem einen Rahmen vor, wie in solchen Fällen eine Leugnung erreicht werden kann. |
Auf dem Weg zum blinden Wasserzeichen: Kombination invertierbarer und nicht invertierbarer Mechanismen | ACM MM | 2022 | Github | Arxiv | - Es geht nicht darum, ein Modell zu rooten, sondern darum, das Post-hoc-Wasserzeichen von Bildern anzugreifen - Viele Referenzen zu invertierbaren NNs |
DocDiff: Dokumentenverbesserung durch Restdiffusionsmodelle | ACM MM | 2023 | Github | Arxiv | - Es geht nicht darum, ein Modell zu rooten, sondern darum, Bilder nachträglich mit Wasserzeichen zu versehen - Beinhaltet die klassische Entfernung von Wasserzeichen |
Kriegsführung: Den Wasserzeichenschutz von KI-generierten Inhalten durchbrechen | - | 2023 | Habe noch nicht danach gesucht | Arxiv | – Es geht nicht darum, ein Modell zu rooten, sondern darum, Post-hoc-Wasserzeichen anzugreifen - Beinhaltet 1. Wasserzeichenentfernung und 2. Schmieden |
Nutzung der Optimierung für adaptive Angriffe auf Bildwasserzeichen | ICML (Poster) | 2024 | Habe noch nicht danach gesucht | Arxiv | – Es geht nicht darum, ein Modell zu rooten, sondern darum, Post-hoc-Wasserzeichen anzugreifen |
Ein einigermaßen robustes Bildwasserzeichen gegenüber diffusionsbasierten Bearbeitungsmodellen | - | 2023 | Habe noch nicht danach gesucht | Arxiv | - Es geht nicht darum, ein Modell zu rooten, sondern darum, Bilder nachträglich mit Wasserzeichen zu versehen - Nimmt Wasserzeichen wörtlich und fügt versteckte Bilder ein |
Hey, das ist meins. Nicht wahrnehmbare Wasserzeichen bleiben in diffusionsgenerierten Ausgaben erhalten | - | 2023 | - | Arxiv | - Es geht nicht darum, ein Modell zu rooten. Sie zeigen, dass Wasserzeichen in Trainingsdaten in der Ausgabe erkennbar sind und Ansprüche auf geistiges Eigentum zulassen |
Benchmarking der Robustheit von Bildwasserzeichen | - | 2024 | Github | Arxiv | - Nur ein Benchmark/Framework zum Testen von Wasserzeichen |
Kostenlose Feinabstimmung: Ein Plug-and-Play-Wasserzeichenschema für tiefe neuronale Netze | ACM MM | 2023 | Habe noch nicht danach gesucht | Arxiv | - Es geht nicht um generative Modelle, sondern um diskriminierende Modelle |
Gegnerischer Angriff für robusten Wasserzeichenschutz vor Inpainting-basierten und blinden Wasserzeichenentfernern | ACM MM | 2023 | Habe noch nicht danach gesucht | - | - Post-hoc-Wasserzeichen mit verbesserter Widerstandsfähigkeit gegen Inpainting |
Ein neuartiges Deep-Video-Watermarking-Framework mit verbesserter Robustheit gegenüber H.264/AVC-Komprimierung | ACM MM | 2023 | Github | - | - Post-hoc-Wasserzeichen für Videos |
Praktisches, tief verteiltes Wasserzeichen mit Synchronisierung und Fusion | ACM MM | 2023 | Habe noch nicht danach gesucht | Arxiv | - Post-hoc-Wasserzeichen für Bilder mit verbesserter Robustheit gegenüber Transformationen |
Generalisierbare synthetische Bilderkennung durch sprachgesteuertes kontrastives Lernen | - | 2023 | Github | Arxiv | - Es geht nicht um Rooting, sondern um GenAI-Bilderkennung |
Verbesserung der Robustheit von Deep-Learning-basiertem Fingerprinting zur Verbesserung der Deepfake-Zuordnung | ACM MM-Asien | 2022 | - | - | - Es geht nicht um Rooting, sondern um Transformations-Robustheitsstrategien für Wasserzeichen |
Sie werden dabei erwischt, wie Sie meinen Lottoschein gestohlen haben! Indem man einen Lottoschein macht, beansprucht man dessen Eigentum | NeurIPS | 2021 | Github | Arxiv | - Wasserzeichen auf der Sparsity-Maske von Lottoscheinen |
Selbstverzehrende generative Modelle werden verrückt | ICLR (Poster) | 2024 | - | Arxiv | – Enthält einen Grund, warum die GenAI-Erkennung wichtig ist: Entfernen generierter Inhalte aus Trainingssätzen |
Papier | Tagungsband / Journal | Jahr des Veranstaltungsortes / Letzte Aktualisierung | Code | Alternative PDF-Quelle | Notizen |
---|---|---|---|---|---|
Proaktive Erkennung von Sprachklonungen mit lokalisiertem Wasserzeichen | - | 2024 | Github | Arxiv | - Meta/FAIR-Autor |
MaskMark: Robustes neuronales Wasserzeichen für echte und synthetische Sprache | ICASSP | 2024 | Hörbeispiele | IEEEexplore | - |
Kollaboratives Wasserzeichen für die kontradiktorische Sprachsynthese | ICASSP | 2024 | - | Arxiv | - Meta/FAIR-Autor |
HiFi-GAN: Generative kontradiktorische Netzwerke für eine effiziente und hochauflösende Sprachsynthese | NeurIPS | 2020 | Github | Arxiv | - Sehr gutes GAN für die Sprachsynthese (TODO: Ist das SotA?) - Live-Synthese sogar auf der CPU möglich - Die Qualität entspricht autoregressiven Modellen |
Gefälschte Trainingsdaten zur Gegenmaßnahme gegen Sprachfälschung können mithilfe neuronaler Vocoder effizient erstellt werden | ICASSP | 2023 | - | Arxiv | - Beziehen Sie vom Vocoder generierte Trainingsdaten ein, um die Erkennungsmöglichkeiten für Gegenmaßnahmen zu verbessern |
AudioQR: Tiefe neuronale Audio-Wasserzeichen für QR-Code | IJCAI | 2023 | Github | - | - Nicht wahrnehmbare QR-Codes im Ton für Sehbehinderte |
Papier | Tagungsband / Journal | Jahr des Veranstaltungsortes / Letzte Aktualisierung | Code | Alternative PDF-Quelle | Notizen |
---|---|---|---|---|---|
ASVspoof 2021 Challenge | - | 2021 | Github | Arxiv | - Herausforderung zur Audio-Spoofing-Erkennung |
ADD 2022: die erste Audio Deep Synthesis Detection Challenge | ICASSP | 2022 | Github | Arxiv | - Offizielle chinesische Challenge-Website (KEIN HTTPS!) |
Papier | Tagungsband / Journal | Jahr des Veranstaltungsortes / Letzte Aktualisierung | Code | Alternative PDF-Quelle | Notizen |
---|---|---|---|---|---|
Wasserzeichen im Sand: Unmöglichkeit einer starken Wasserzeichenmarkierung für generative Modelle | - | 2023 | Github | Arxiv | - |
Adversarial Watermarking Transformer: Auf dem Weg zur Rückverfolgung der Textherkunft durch Ausblenden von Daten | S&P | 2021 | Github | Arxiv | - |
Resiliente Wasserzeichen für LLM-generierte Codes | - | 2024 | Github-Anhang | Arxiv | - Code |
Nachweislich robustes Multibit-Wasserzeichen für KI-generierten Text über Fehlerkorrekturcode | - | 2024 | - | Arxiv | - Fehlerkorrektur |
Nachweislich robustes Wasserzeichen für KI-generierten Text | ICLR | 2024 | Github | Arxiv | - Anscheinend gutes und robustes LLM-Wasserzeichen |
Auf dem Weg zu codierbaren Wasserzeichen zum Einfügen von Multi-Bit-Informationen in LLMs | ICLR | 2024 | Github | Arxiv | - TODO |
Papier | Tagungsband / Journal | Jahr des Veranstaltungsortes / Letzte Aktualisierung | Code | Alternative PDF-Quelle | Notizen |
---|---|---|---|---|---|
Diebstahl von Modellen für maschinelles Lernen: Angriffe und Gegenmaßnahmen für generative gegnerische Netzwerke | ACSAC | 2021 | - | Arxiv | - |
Modellextraktionsangriff und -verteidigung auf tiefe generative Modelle | Zeitschrift für Physik | 2022 | - | - | - |
Modellextraktion und Abwehrmaßnahmen in generativen gegnerischen Netzwerken | - | 2021 | - | Arxiv | - |
Papier | Tagungsband / Journal | Jahr des Veranstaltungsortes / Letzte Aktualisierung | Code | Alternative PDF-Quelle | Notizen |
---|---|---|---|---|---|
Eine umfassende Umfrage zum robusten Bildwasserzeichen | Neurocomputing | 2022 | - | Arxiv | - Nicht um Modell-Rooting |
Eine systematische Übersicht über Modellwasserzeichen für neuronale Netze | Grenzen in Big Data | 2021 | - | Arxiv | - Nicht um Modell-Rooting |
Eine umfassende Übersicht über das Wasserzeichen digitaler Bilder | - | 2022 | - | Arxiv | - Nicht um Modell-Rooting |
Urheberrechtsschutz in der generativen KI: Eine technische Perspektive | - | 2024 | - | Arxiv | - Über den IP-Schutz in GenAI im Allgemeinen |
Sicherheit und Datenschutz bei generativen Daten in AIGC: Eine Umfrage | - | 2023 | - | Arxiv | - Über Sicherheitsaspekte in GenAI im Allgemeinen |
Von großen KI-Modellen generierte Multimedia-Inhalte erkennen: Eine Umfrage | - | 2024 | - | Arxiv | – Über die Erkennung von GenAI im Allgemeinen |
Audio-Deepfake-Erkennung: Eine Umfrage | - | 2023 | - | Arxiv | – Enthält einen Überblick über gefälschte Audiodatensätze, Spoofing-Methoden und Erkennungsmethoden - Sehr guter Service |
Zusammenfassung der Systematisierung in dieser Rezension.
Ziel | Erklärung | Motivation |
---|---|---|
Treue | Hohe Vorhersagequalität für Originalaufgaben | Die Modellleistung sollte sich nicht wesentlich verschlechtern |
Robustheit | Das Wasserzeichen sollte sich nicht entfernen lassen | schützt vor Urheberrechtsumgehung |
Zuverlässigkeit | Minimale Fehlnegative | stellt sicher, dass das rechtmäßige Eigentum anerkannt wird |
Integrität | Minimale Fehlalarme | verhindert ungerechtfertigte Diebstahlsvorwürfe |
Kapazität | Unterstützt große Informationsmengen | ermöglicht umfassende Wasserzeichen |
Geheimhaltung | Das Wasserzeichen muss geheim und nicht erkennbar sein | verhindert unbefugte Erkennung |
Effizienz | Schnelles Einfügen und Überprüfen von Wasserzeichen | vermeidet Rechenaufwand |
Allgemeinheit | Unabhängig von Datensätzen und ML-Algorithmen | erleichtert eine breite Anwendung |