Awesome GenAI Watermarking
1.0.0
Ce référentiel comprend des articles sur les méthodes de filigrane pour les modèles d'IA génératifs. Le filigrane est une méthode permettant d'intégrer un signal imperceptible mais récupérable (charge utile) dans un actif numérique (couverture). Avec les modèles génératifs, il existe des approches qui entraînent le modèle à produire le filigrane dans chaque sortie et ce comportement devrait être difficile à désactiver. Nous appelons cela « Enracinement d'empreintes digitales » ou simplement « Enracinement » .
Papier | Actes / Journal | Année du lieu / Dernière mise à jour | Code | Source PDF alternative | Remarques |
---|---|---|---|---|---|
Le filigrane n'est pas de la cryptographie | IWDW | 2006 | - | Page Web de l'auteur | - FAIRE |
Papier | Actes / Journal | Année du lieu / Dernière mise à jour | Code | Source PDF alternative | Remarques |
---|---|---|---|---|---|
Empreintes digitales artificielles pour les modèles génératifs : enraciner l'attribution Deepfake dans les données de formation | ICCV | 2021 | - | Arxiv | - Enracinement des modèles GAN. En intégrant un filigrane dans les données d'entraînement pour exploiter transférabilité |
PTW : filigrane de réglage crucial pour les générateurs d'images pré-entraînés | USÉNIX | 2023 | GitHub | Arxiv | - Concentrez-vous sur les GAN, mais les modèles de diffusion latente devraient également fonctionner |
La signature stable : enracinement des filigranes dans les modèles de diffusion latente | ICCV | 2023 | GitHub | Arxiv | - Auteur Meta/FAIR Affinez un modèle en fonction de l'encodeur/décodeur pour révéler un message secret dans sa sortie. - robuste à la suppression des filigranes et à la purification du modèle (détérioration de la qualité) - Filigrane statique |
La signature stable est instable : suppression du filigrane d'image des modèles de diffusion | - | 2024 | - | Arxiv | - Purification du modèle Signature stable via un réglage fin |
Filigrane flexible et sécurisé pour le modèle de diffusion latente | ACMMM | 2023 | - | - | - Fait référence à une signature stable et s'améliore en ajoutant de la flexibilité en permettant l'intégration de différents messages sans réglage fin |
Un cadre de filigrane Plug-and-Play sans formation pour une diffusion stable | - | 2024 | - | Arxiv | - FAIRE |
WOOUAF : Modulation de poids pour l'attribution des utilisateurs et la prise d'empreintes digitales dans les modèles de diffusion texte-image | Atelier NeurIPS sur les modèles de diffusion | 2023 | - | Arxiv | - FAIRE |
RoSteALS : stéganographie robuste utilisant l'espace latent d'un auto-encodeur | Ateliers CVPR (CVPRW) | 2023 | GitHub | Arxiv | - Filigrane post-hoc |
DiffusionShield : un filigrane pour la protection des droits d'auteur contre les modèles de diffusion générative | Atelier NeurIPS sur les modèles de diffusion | 2023 | - | Arxiv | - Pas sur l'enracinement -Images protégées contre l'empoisonnement des données qui se reproduiront si elles sont utilisées comme données d'entraînement dans le modèle de diffusion |
Une recette pour les modèles de diffusion de filigrane | - | 2023 | GitHub | Arxiv | - Cadre pour 1. petits DM inconditionnels/conditionnels de classe via une formation à partir de zéro sur des données filigranées et 2. DM texte-image via le réglage fin d'une sortie de déclenchement de porte dérobée - De nombreuses références sur les modèles discriminants de tatouage - Filigrane statique |
Protection de la propriété intellectuelle des modèles de diffusion via le processus de diffusion en filigrane | - | 2023 | - | Arxiv | - Modèle de menace : vérifiez la propriété du modèle en ayant accès au modèle - Difficile à lire - Explique la différence entre le filigrane statique et dynamique avec de nombreuses références |
Sécuriser des modèles génératifs profonds avec une signature contradictoire universelle | - | 2023 | GitHub | Arxiv | - 1. Trouvez la signature optimale pour une image individuellement. - 2. Affiner un modèle GenAI sur ces images. |
Modèle de diffusion de filigrane | - | 2023 | - | Arxiv | - Affiner une sortie de déclenchement de porte dérobée - Filigrane statique - Auteurs CISPA |
Attrapez tout partout : protégez l'inversion textuelle via le concept de filigrane | - | 2023 | - | Arxiv | - Protège les concepts obtenus par inversion textuelle (Une image vaut un mot : personnalisation de la génération de texte à image à l'aide de l'inversion textuelle) des abus en permettant d'identifier les concepts dans les images générées. - Des références très intéressantes sur les positions des entreprises et des gouvernements sur le filigrane |
Filigrane génératif contre la synthèse d'images non autorisée basée sur le sujet | - | 2023 | - | Arxiv | - Différent de Glaze dans la mesure où la synthèse de style à partir d'images sources protégées n'est pas empêchée, mais reconnaissable via des filigranes - Auteurs CISPA |
Vers la vulnérabilité du filigrane du contenu généré par l’intelligence artificielle | - | 2024 | - | OuvrirReview | - Suppression et falsification de filigrane en une seule méthode, en utilisant GAN - Fait référence à deux types de filigrane : 1. Apprendre/affiner le modèle pour produire une sortie filigranée et 2. filigrane post-hoc après coup (statique ou dynamique, voir "Protection de la propriété intellectuelle des modèles de diffusion via le processus de diffusion de filigrane") |
Robustesse des détecteurs d'images IA : limites fondamentales et attaques pratiques | ICLR | 2024 | GitHub | Arxiv | - Ils montrent que les méthodes de tatouage à petit budget sont battues par la purification par diffusion et proposent une attaque qui peut même supprimer les filigranes à gros budget par substitution de modèle |
Une attaque de transfert vers les filigranes d’images | - | 2024 | - | Arxiv | - Suppression des filigranes par attaque "no-box" sur les détecteurs (pas d'accès à l'API du détecteur, à la place un classificateur de formation pour distinguer les images filigranées et vanille) |
EditGuard : filigrane d'image polyvalent pour la localisation des falsifications et la protection des droits d'auteur | CVPR | 2024 | GitHub | Arxiv | - Filigrane post-hoc avec localisation des falsifications |
Filigrane latent : injecter et détecter des filigranes dans l'espace de diffusion latente | - | 2024 | - | Arxiv | - Discute de 3 catégories de filigranes avec références : avant, pendant et après la génération |
Stable Messenger : stéganographie pour la génération d'images à messages dissimulés | - | 2023 | - | Arxiv | - Filigrane post-hoc - Incorporation du filigrane lors de la génération selon "Latent Watermark: Inject and Detect Watermarks in Latent Diffusion Space", mais je pense que c'est en fait post-hoc. |
Papier | Actes / Journal | Année du lieu / Dernière mise à jour | Code | Source PDF alternative | Remarques |
---|---|---|---|---|---|
StegaStamp : liens hypertextes invisibles dans les photographies physiques | CVPR | 2020 | GitHub | Arxiv | - Filigrane dans les images physiques pouvant être capturées à partir d'un flux vidéo - "Vers la vulnérabilité du filigrane du contenu généré par l'intelligence artificielle" suppose que Deepmind SynthID fonctionne de manière similaire à celui-ci. |
ChartStamp : intégration de graphiques robuste pour les applications du monde réel | ACMMM | 2022 | GitHub | - | - Comme StegaStamp, mais il introduit moins d'encombrement dans les zones plates des images |
Exemples non contradictoires : conception d'objets pour une vision robuste | NeuroIPS | 2021 | GitHub | Arxiv | - Perturbations pour faciliter la détection |
Papier | Actes / Journal | Année du lieu / Dernière mise à jour | Code | Source PDF alternative | Remarques |
---|---|---|---|---|---|
RAW : un cadre de filigrane Plug-and-Play robuste et agile pour les images générées par l'IA avec des garanties prouvables | - | 2024 | GitHub | Arxiv | - Retiré d'arxiv |
PiGW : un cadre de filigrane génératif de plug-in | - | 2024 | Je ne l'ai pas encore cherché | Arxiv | - Retiré d'arxiv |
Analyse comparative de la robustesse des filigranes d'image (Attendez la source ICML) | CIML | 2024 | GitHub | Arxiv | - FAIRE |
WMAdapter : ajout d'un contrôle WaterMark aux modèles de diffusion latente | - | 2024 | Je ne l'ai pas encore cherché | Arxiv | - FAIRE |
Stéganalyse sur le tatouage numérique : votre défense est-elle vraiment imperméable ? | - | 2024 | Je ne l'ai pas encore cherché | Arxiv | - FAIRE |
Trouver des aiguilles dans une botte de foin : une approche boîte noire pour la détection des filigranes invisibles | - | 2024 | Je ne l'ai pas encore cherché | Arxiv | - FAIRE |
ProMark : filigrane de diffusion proactive pour l'attribution causale | CVPR | 2024 | - | Arxiv | - FAIRE |
Filigranage d'images dans des espaces latents auto-supervisés | ICASSP | 2022 | GitHub | Arxiv | - FAIRE |
Auto-encodeurs génératifs comme attaquants de filigranes : analyses des vulnérabilités et des menaces | Atelier ICML DeployableGenerativeAI | 2023 | - | - | - Attaque des filigranes de pixels à l'aide d'auto-encodeurs LDM |
Il est prouvé que les filigranes d’image invisibles sont amovibles grâce à l’IA générative | - | 2023 | GitHub | Arxiv | - Il ne s'agit pas de rooter un modèle, mais de supprimer les filigranes avec purification par diffusion - Évalue la signature stable et les filigranes d'anneaux d'arbre. Les cernes des arbres sont robustes contre leurs attaques. - Version antérieure des encodeurs automatiques génératifs en tant qu'attaquants de filigrane |
WaterDiff : filigranes d'image perceptuels via un modèle de diffusion | Atelier IVMSP-P2 à l'ICASSP | 2024 | - | - | - FAIRE |
Squint Enough Hard : attaquer le hachage perceptuel avec l'apprentissage automatique contradictoire | USÉNIX | 2022 | - | - | - Attaques sur les hachages perceptuels |
Éviter la détection basée sur le filigrane du contenu généré par l'IA | CSC | 2023 | GitHub | Arxiv | - Évaluation de la robustesse des filigranes d'images + Échantillon contradictoire pour évasion |
Modèles de diffusion pour la purification contradictoire | CIML | 2022 | GitHub | Arxiv | - Défense contre les perturbations contradictoires, y compris les filigranes imperceptibles dans les images |
Filigrane robuste basé sur le flux avec couche de bruit inversible pour les distorsions de boîte noire | AIII | 2023 | GitHub | - | - Comme HiDDeN, juste un encodeur/extracteur de filigrane neuronal |
HiDDeN : masquer des données avec des réseaux profonds | ECVC | 2018 | GitHub | Arxiv | - Outil principal utilisé dans Stable Signature - Contient env. de compression JPEG - Filigrane dynamique |
Glaze : protéger les artistes du mimétisme de style par les modèles texte-image | USÉNIX | 2023 | GitHub | Arxiv | - Il ne s'agit pas de rooter, mais de nier le vol de style |
DUAW : filigrane contradictoire universel sans données contre une personnalisation de diffusion stable | - | 2023 | - | Arxiv | - Ressemble à Glaze à première vue. Les auteurs n’ont peut-être pas eu la chance de travailler en parallèle |
Divulgation responsable des modèles génératifs utilisant des empreintes digitales évolutives | ICLR | 2022 | GitHub | Arxiv | - Enracinement des modèles GAN. Semble avoir introduit l'idée de produire rapidement de nombreux modèles de manière évolutive avec un grand espace de message (TODO : vérifiez cela plus tard), de la même manière que Stable Signature l'a fait plus tard pour une diffusion stable. |
Sur l’attribution des Deepfakes | - | 2020 | - | Arxiv | - Ils montrent qu'il est possible de créer une image qui semble avoir été générée par un modèle ciblé. Ils proposent également un cadre permettant d'obtenir le déni dans de tels cas. |
Vers le tatouage aveugle : combiner des mécanismes inversibles et non inversibles | ACMMM | 2022 | GitHub | Arxiv | - Il ne s'agit pas de rooter un modèle, mais de s'attaquer au filigrane post-hoc des images - Beaucoup de références sur les NN inversibles |
DocDiff : amélioration des documents via des modèles de diffusion résiduelle | ACMMM | 2023 | GitHub | Arxiv | - Il ne s'agit pas de rooter un modèle, mais de filigraner post-hoc des images - Inclut la suppression classique du filigrane |
Warfare : briser la protection par filigrane du contenu généré par l'IA | - | 2023 | Je ne l'ai pas encore cherché | Arxiv | - Il ne s'agit pas de rooter un modèle, mais d'attaquer le filigrane post-hoc - Comprend 1. suppression du filigrane et 2. forgeage |
Tirer parti de l'optimisation pour les attaques adaptatives sur les filigranes d'images | ICML (Affiche) | 2024 | Je ne l'ai pas encore cherché | Arxiv | - Il ne s'agit pas de rooter un modèle, mais d'attaquer le filigrane post-hoc |
Un filigrane d'image quelque peu robuste par rapport aux modèles d'édition basés sur la diffusion | - | 2023 | Je ne l'ai pas encore cherché | Arxiv | - Il ne s'agit pas de rooter un modèle, mais de filigraner post-hoc des images - Prend les filigranes littéralement et injecte des images cachées |
Hé, c'est à moi, les filigranes imperceptibles sont préservés dans les sorties générées par diffusion | - | 2023 | - | Arxiv | - Il ne s'agit pas d'enraciner un modèle. Ils montrent que les filigranes dans les données de formation sont reconnaissables dans la sortie et permettent des revendications de propriété intellectuelle. |
Évaluation de la robustesse des filigranes d'images | - | 2024 | GitHub | Arxiv | - Juste un benchmark/framework pour tester les filigranes par rapport |
Mise au point gratuite : un système de filigrane Plug-and-Play pour les réseaux de neurones profonds | ACMMM | 2023 | Je ne l'ai pas encore cherché | Arxiv | - Il ne s'agit pas de modèles génératifs, mais de modèles discriminatifs |
Attaque contradictoire pour une protection robuste des filigranes contre les dissolvants de filigranes aveugles et basés sur l'inpainting | ACMMM | 2023 | Je ne l'ai pas encore cherché | - | - Filigrane post-hoc avec une robustesse améliorée contre l'inpainting |
Un nouveau cadre de filigrane vidéo approfondi avec une robustesse améliorée pour la compression H.264/AVC | ACMMM | 2023 | GitHub | - | - Filigrane post-hoc pour les vidéos |
Filigrane pratique en profondeur dispersé avec synchronisation et fusion | ACMMM | 2023 | Je ne l'ai pas encore cherché | Arxiv | - Filigrane post-hoc pour les images avec une robustesse améliorée aux transformations |
Détection d'images synthétiques généralisable via un apprentissage contrastif guidé par le langage | - | 2023 | GitHub | Arxiv | - Il ne s'agit pas d'enracinement, mais de détection d'images GenAI |
Améliorer la robustesse des empreintes digitales basées sur le Deep Learning pour améliorer l'attribution des Deepfakes | ACM MM-Asie | 2022 | - | - | - Il ne s'agit pas d'enracinement, mais de stratégies de transformation et de robustesse pour les filigranes |
Vous êtes surpris en train de voler mon billet de loterie gagnant ! Faire en sorte qu'un billet de loterie revendique sa propriété | NeuroIPS | 2021 | GitHub | Arxiv | - Filigrane du masque de parcimonie des billets de loterie gagnants |
Les modèles génératifs auto-consommateurs deviennent MAD | ICLR (Affiche) | 2024 | - | Arxiv | - Contient une raison pour laquelle la détection GenAI est importante : suppression du contenu généré des ensembles de formation |
Papier | Actes / Journal | Année du lieu / Dernière mise à jour | Code | Source PDF alternative | Remarques |
---|---|---|---|---|---|
Détection proactive du clonage vocal avec filigrane localisé | - | 2024 | GitHub | Arxiv | - Auteur Meta/FAIR |
MaskMark : filigrane neuronal robuste pour la parole réelle et synthétique | ICASSP | 2024 | Échantillons audio | IEEExplorer | - |
Filigrane collaboratif pour la synthèse vocale contradictoire | ICASSP | 2024 | - | Arxiv | - Auteur Meta/FAIR |
HiFi-GAN : réseaux contradictoires génératifs pour une synthèse vocale efficace et haute fidélité | NeuroIPS | 2020 | GitHub | Arxiv | - Très bon GAN pour la synthèse vocale (TODO : Est-ce SotA ?) - Peut faire de la synthèse en direct même sur CPU - La qualité est comparable aux modèles autorégressifs |
Des données de formation usurpées pour la lutte contre l'usurpation de la parole peuvent être créées efficacement à l'aide de vocodeurs neuronaux | ICASSP | 2023 | - | Arxiv | - Inclure les données de formation générées par le vocodeur pour améliorer les capacités de détection des contre-mesures |
AudioQR : filigranes audio neuronaux profonds pour code QR | IJCAI | 2023 | GitHub | - | - QR-codes imperceptibles en audio pour les malvoyants |
Papier | Actes / Journal | Année du lieu / Dernière mise à jour | Code | Source PDF alternative | Remarques |
---|---|---|---|---|---|
Défi ASVspoof 2021 | - | 2021 | GitHub | Arxiv | - Défi pour la détection de l'usurpation audio |
ADD 2022 : le premier défi de détection de synthèse audio profonde | ICASSP | 2022 | GitHub | Arxiv | - Site officiel du défi chinois (PAS de HTTPS !) |
Papier | Actes / Journal | Année du lieu / Dernière mise à jour | Code | Source PDF alternative | Remarques |
---|---|---|---|---|---|
Des filigranes dans le sable : impossibilité d'un filigrane fort pour les modèles génératifs | - | 2023 | GitHub | Arxiv | - |
Transformateur de filigrane contradictoire : vers le traçage de la provenance du texte avec masquage des données | S&P | 2021 | GitHub | Arxiv | - |
Filigrane résilient pour les codes générés par LLM | - | 2024 | Annexe GitHub | Arxiv | -Coder |
Filigrane multibits prouvé et robuste pour le texte généré par l'IA via un code de correction d'erreur | - | 2024 | - | Arxiv | - Correction d'erreur |
Filigrane robuste et prouvable pour le texte généré par l'IA | ICLR | 2024 | GitHub | Arxiv | - Filigrane LLM apparemment bon et robuste |
Vers un filigrane codable pour injecter des informations multi-bits dans les LLM | ICLR | 2024 | GitHub | Arxiv | - FAIRE |
Papier | Actes / Journal | Année du lieu / Dernière mise à jour | Code | Source PDF alternative | Remarques |
---|---|---|---|---|---|
Vol de modèles d'apprentissage automatique : attaques et contre-mesures pour les réseaux adverses génératifs | ACSAC | 2021 | - | Arxiv | - |
Attaque et défense par extraction de modèles sur des modèles génératifs profonds | Journal de physique | 2022 | - | - | - |
Extraction de modèles et défenses sur les réseaux adverses génératifs | - | 2021 | - | Arxiv | - |
Papier | Actes / Journal | Année du lieu / Dernière mise à jour | Code | Source PDF alternative | Remarques |
---|---|---|---|---|---|
Une étude complète sur le filigrane d'image robuste | Neuroinformatique | 2022 | - | Arxiv | - Pas sur l'enracinement du modèle |
Une revue systématique du filigrane de modèle pour les réseaux de neurones | Frontières du Big Data | 2021 | - | Arxiv | - Pas sur l'enracinement du modèle |
Une revue complète sur le filigrane d’images numériques | - | 2022 | - | Arxiv | - Pas sur l'enracinement du modèle |
Protection du droit d'auteur dans l'IA générative : une perspective technique | - | 2024 | - | Arxiv | - À propos de la protection IP dans GenAI en général |
Sécurité et confidentialité des données génératives dans AIGC : une enquête | - | 2023 | - | Arxiv | - Sur les aspects de sécurité dans GenAI en général |
Détection du multimédia généré par les grands modèles d'IA : une enquête | - | 2024 | - | Arxiv | - À propos de la détection de GenAI en général |
Détection audio deepfake : une enquête | - | 2023 | - | Arxiv | - Contient un aperçu des ensembles de données audio usurpés, des méthodes d'usurpation d'identité et des méthodes de détection - Très bon service |
Résumé de la systématisation donnée dans cette revue.
But | Explication | Motivation |
---|---|---|
Fidélité | Haute qualité de prédiction sur les tâches originales | les performances du modèle ne devraient pas se dégrader de manière significative |
Robustesse | Le filigrane doit résister à la suppression | protège contre la fraude au droit d'auteur |
Fiabilité | Faux négatifs minimes | garantit que la propriété légitime est reconnue |
Intégrité | Faux positifs minimes | prévient les accusations injustifiées de vol |
Capacité | Prend en charge de grandes quantités d’informations | permet des filigranes complets |
Secret | Le filigrane doit être secret et indétectable | empêche toute détection non autorisée |
Efficacité | Insertion et vérification rapides du filigrane | évite la charge de calcul |
Généralité | Indépendant des ensembles de données et des algorithmes ML | facilite une application généralisée |