Awesome GenAI Watermarking
1.0.0
Este repositório inclui artigos sobre métodos de marca d'água para modelos generativos de IA. A marca d'água é um método para incorporar um sinal imperceptível, mas recuperável (carga útil) em um ativo digital (capa). Com modelos generativos, existem abordagens que treinam o modelo para produzir a marca d'água em cada saída e esse comportamento deve ser difícil de desabilitar. Nós nos referimos a isso como "Enraizamento de impressão digital" ou apenas "Enraizamento" .
| Papel | Anais / Diário | Ano do local/última atualização | Código | Fonte alternativa em PDF | Notas |
|---|---|---|---|---|---|
| Marca d'água não é criptografia | IWDW | 2006 | - | Página do autor | - PENDÊNCIA |
| Papel | Anais / Diário | Ano do local/última atualização | Código | Fonte alternativa em PDF | Notas |
|---|---|---|---|---|---|
| Impressão digital artificial para modelos generativos: enraizando atribuição Deepfake em dados de treinamento | ICCV | 2021 | - | Arxiv | - Enraizamento de modelos GAN. Ao incorporar marca d'água em dados de treinamento para explorar transferibilidade |
| PTW: Marca d’água de ajuste fundamental para geradores de imagens pré-treinados | USENIX | 2023 | GitHub | Arxiv | - Concentre-se em GANs, mas os modelos de difusão latente também devem funcionar |
| A assinatura estável: enraizando marcas d'água em modelos de difusão latente | ICCV | 2023 | GitHub | Arxiv | - Autor Meta/FAIR Ajuste um modelo de acordo com o codificador/decodificador para revelar uma mensagem secreta em sua saída. - robusto para remoção de marca d'água e purificação de modelo (deterioração de qualidade) - Marca d’água estática |
| A assinatura estável é instável: removendo marca d’água de imagem de modelos de difusão | - | 2024 | - | Arxiv | - Purificação de modelo de assinatura estável via ajuste fino |
| Marca d'água flexível e segura para modelo de difusão latente | ACM MM | 2023 | - | - | - Faz referência à assinatura estável e melhora adicionando flexibilidade, permitindo a incorporação de diferentes mensagens sem ajuste fino |
| Uma estrutura de marca d'água plug-and-play sem treinamento para difusão estável | - | 2024 | - | Arxiv | - PENDÊNCIA |
| WOUAF: modulação de peso para atribuição de usuário e impressão digital em modelos de difusão de texto para imagem | Workshop NeurIPS sobre modelos de difusão | 2023 | - | Arxiv | - PENDÊNCIA |
| RoSteALS: Esteganografia robusta usando espaço latente do Autoencoder | Oficinas CVPR (CVPRW) | 2023 | GitHub | Arxiv | - Marca d’água post hoc |
| DiffusionShield: uma marca d'água para proteção de direitos autorais contra modelos de difusão generativa | Workshop NeurIPS sobre modelos de difusão | 2023 | - | Arxiv | - Não é sobre enraizamento -Imagens protegidas contra envenenamento de dados que serão reproduzidas se usadas como dados de treinamento no modelo de difusão |
| Uma receita para modelos de difusão de marca d'água | - | 2023 | GitHub | Arxiv | - Estrutura para 1. pequenos DMs incondicionais/condicionais de classe por meio de treinamento do zero em dados com marca d'água e 2. DMs de texto para imagem por meio do ajuste fino de uma saída de acionamento de backdoor - Muitas referências sobre modelos discriminativos de marca d’água - Marca d'água estática |
| Proteção de propriedade intelectual de modelos de difusão por meio do processo de difusão de marca d’água | - | 2023 | - | Arxiv | - Modelo de ameaça: verifique a propriedade do modelo tendo acesso ao modelo - Difícil de ler - Explica a diferença entre marcas d'água estáticas e dinâmicas com muitas referências |
| Protegendo modelos generativos profundos com assinatura adversária universal | - | 2023 | GitHub | Arxiv | - 1. Encontre a assinatura ideal para uma imagem individualmente. - 2. Ajuste um modelo GenAI nessas imagens. |
| Modelo de difusão de marca d'água | - | 2023 | - | Arxiv | - Ajuste fino de uma saída de gatilho backdoor - Marca d'água estática - Autores da CISPA |
| Pegue tudo em todos os lugares: protegendo a inversão textual por meio de marca d’água conceitual | - | 2023 | - | Arxiv | - Protege conceitos obtidos por meio de inversão textual (Uma imagem vale uma palavra: Personalizando a geração de texto para imagem usando inversão textual) contra abusos, permitindo identificar conceitos em imagens geradas. - Referências muito interessantes sobre posições de empresas e governos sobre marcas d’água |
| Marca d'água generativa contra síntese de imagem não autorizada baseada em assunto | - | 2023 | - | Arxiv | - Diferente do Glaze porque a síntese de estilo a partir de imagens de origem protegidas não é impedida, mas reconhecível por meio de marcas d'água - Autores da CISPA |
| Rumo à vulnerabilidade da marca d'água no conteúdo gerado por inteligência artificial | - | 2024 | - | Revisão aberta | - Remoção e falsificação de marca d'água em um método, usando GAN - Faz referência a dois tipos de marca d'água: 1. Modelo de aprendizado/ajuste para produzir saída com marca d'água e 2. marca d'água post-hoc após o fato (estático vs. dinâmico, consulte "Proteção de propriedade intelectual de modelos de difusão por meio do processo de difusão de marca d'água") |
| Robustez dos detectores de imagens de IA: limites fundamentais e ataques práticos | ICLR | 2024 | GitHub | Arxiv | - Eles mostram que os métodos de marcas d'água de baixo orçamento são derrotados pela purificação por difusão e propõem um ataque que pode até mesmo remover marcas d'água de alto orçamento por substituição de modelo |
| Um ataque de transferência para marcas d'água de imagens | - | 2024 | - | Arxiv | - Remoção de marca d'água por ataque "no-box" em detectores (sem acesso à API do detector, em vez disso, treinando o classificador para distinguir imagens com marca d'água e vanilla) |
| EditGuard: Marca d'água de imagem versátil para localização de adulteração e proteção de direitos autorais | CVPR | 2024 | GitHub | Arxiv | - Marca d'água post-hoc com localização de violação |
| Marca d'água latente: injete e detecte marcas d'água no espaço de difusão latente | - | 2024 | - | Arxiv | - Discute 3 categorias de marcas d’água com referências: antes, durante e depois da geração |
| Stable Messenger: Esteganografia para geração de imagens ocultas em mensagens | - | 2023 | - | Arxiv | - Marca d’água post hoc - Incorporação de marca d'água durante a geração de acordo com "Marca d'água latente: injetar e detectar marcas d'água no espaço de difusão latente", mas acho que na verdade é post-hoc. |
| Papel | Anais / Diário | Ano do local/última atualização | Código | Fonte alternativa em PDF | Notas |
|---|---|---|---|---|---|
| StegaStamp: hiperlinks invisíveis em fotografias físicas | CVPR | 2020 | GitHub | Arxiv | - Marca d’água em imagens físicas que podem ser capturadas de stream de vídeo - "Rumo à vulnerabilidade da marca d'água no conteúdo gerado por inteligência artificial" especula que Deepmind SynthID funciona de forma semelhante a este |
| ChartStamp: incorporação robusta de gráficos para aplicações do mundo real | ACM MM | 2022 | GitHub | - | - Como o StegaStamp, mas introduz menos confusão em regiões planas das imagens |
| Exemplos não adversários: projetando objetos para uma visão robusta | NeuroIPS | 2021 | GitHub | Arxiv | - Perturbações para facilitar a detecção |
| Papel | Anais / Diário | Ano do local/última atualização | Código | Fonte alternativa em PDF | Notas |
|---|---|---|---|---|---|
| RAW: uma estrutura de marca d'água plug-and-play robusta e ágil para imagens geradas por IA com garantias comprováveis | - | 2024 | GitHub | Arxiv | - Retirado do arxiv |
| PiGW: uma estrutura de marca d’água generativa de plug-in | - | 2024 | Não procurei ainda | Arxiv | - Retirado do arxiv |
| Comparando a robustez das marcas d'água de imagens (aguarde a fonte ICML) | ICML | 2024 | GitHub | Arxiv | - PENDÊNCIA |
| WMAdapter: Adicionando controle WaterMark a modelos de difusão latente | - | 2024 | Não procurei ainda | Arxiv | - PENDÊNCIA |
| Esteganálise sobre marcas d'água digitais: sua defesa é realmente impermeável? | - | 2024 | Não procurei ainda | Arxiv | - PENDÊNCIA |
| Encontrando agulhas em um palheiro: uma abordagem de caixa preta para detecção de marca d'água invisível | - | 2024 | Não procurei ainda | Arxiv | - PENDÊNCIA |
| ProMark: marca d'água de difusão proativa para atribuição causal | CVPR | 2024 | - | Arxiv | - PENDÊNCIA |
| Marca d'água de imagens em espaços latentes auto-supervisionados | ICASSP | 2022 | GitHub | Arxiv | - PENDÊNCIA |
| Autoencoders generativos como invasores de marca d'água: análises de vulnerabilidades e ameaças | Workshop ICML DeployableGenerativeAI | 2023 | - | - | - Ataque a marcas d'água de pixel usando codificadores automáticos LDM |
| Marcas d'água de imagens invisíveis são comprovadamente removíveis usando IA generativa | - | 2023 | GitHub | Arxiv | - Não se trata de enraizar um modelo, mas de remover marcas d'água com purificação por difusão - Avalia assinatura estável e marcas d'água de anéis de árvore. O anel de árvore é robusto contra seus ataques. - Versão anterior de codificadores automáticos generativos como invasores de marca d'água |
| WaterDiff: marcas d’água de imagem perceptual via modelo de difusão | Workshop IVMSP-P2 no ICASSP | 2024 | - | - | - PENDÊNCIA |
| Aperte os olhos com força suficiente: atacando o hash perceptual com aprendizado de máquina adversário | USENIX | 2022 | - | - | - Ataques a hashes perceptivos |
| Evitando a detecção baseada em marca d'água de conteúdo gerado por IA | CCS | 2023 | GitHub | Arxiv | - Avaliação da robustez de marcas d’água de imagem + Amostra adversária para evasão |
| Modelos de difusão para purificação adversária | ICML | 2022 | GitHub | Arxiv | - Defesa contra perturbação adversária, incluindo marcas d’água imperceptíveis em imagens |
| Marca d'água robusta baseada em fluxo com camada de ruído invertível para distorções de caixa preta | AIII | 2023 | GitHub | - | - Como o HiDDeN, apenas um codificador/extrator de marca d’água neural |
| HiDDeN: ocultando dados com redes profundas | ECCV | 2018 | GitHub | Arxiv | - Principal ferramenta utilizada no Stable Signature - Contém aprox. de compressão JPEG - Marca d’água dinâmica |
| Glaze: Protegendo artistas da imitação de estilo por meio de modelos de texto para imagem | USENIX | 2023 | GitHub | Arxiv | - Não se trata de enraizar, mas sim de negar o roubo de estilo |
| DUAW: Marca d'água adversária universal sem dados contra personalização de difusão estável | - | 2023 | - | Arxiv | - Parece semelhante ao Glaze à primeira vista. Os autores podem ter tido o azar de fazer um trabalho paralelo |
| Divulgação Responsável de Modelos Gerativos Usando Impressão Digital Escalável | ICLR | 2022 | GitHub | Arxiv | - Enraizamento de modelos GAN. Parece ter introduzido a ideia de produzir muitos modelos de forma escalonável e rápida com grande espaço de mensagens (TODO: verifique isso mais tarde), semelhante a como o Stable Signature fez isso mais tarde para difusão estável. |
| Sobre atribuição de Deepfakes | - | 2020 | - | Arxiv | - Eles mostram que pode ser criada uma imagem que parece ter sido gerada por um modelo alvo. Eles também propõem uma estrutura para conseguir a negação em tais casos. |
| Rumo à marca d'água cega: combinando mecanismos invertíveis e não invertíveis | ACM MM | 2022 | GitHub | Arxiv | - Não se trata de fazer root em um modelo, mas de atacar marcas d'água post-hoc de imagens - Muitas referências sobre NNs invertíveis |
| DocDiff: Aprimoramento de documentos por meio de modelos de difusão residual | ACM MM | 2023 | GitHub | Arxiv | - Não se trata de fazer root em um modelo, mas de colocar marcas d'água post-hoc em imagens - Inclui remoção clássica de marca d'água |
| Guerra: Quebrando a proteção de marca d'água de conteúdo gerado por IA | - | 2023 | Não procurei ainda | Arxiv | - Não se trata de fazer root em um modelo, mas de atacar marcas d’água post-hoc - Inclui 1. remoção de marca d'água e 2. forjamento |
| Aproveitando a otimização para ataques adaptativos em marcas d'água de imagens | ICML (Pôster) | 2024 | Não procurei ainda | Arxiv | - Não se trata de fazer root em um modelo, mas de atacar marcas d'água post-hoc |
| Uma marca d'água de imagem um tanto robusta contra modelos de edição baseados em difusão | - | 2023 | Não procurei ainda | Arxiv | - Não se trata de fazer root em um modelo, mas de colocar marcas d'água post-hoc em imagens - Interpreta marcas d'água literalmente e injeta imagens ocultas |
| Ei, isso é meu, marcas d'água imperceptíveis são preservadas nas saídas geradas por difusão | - | 2023 | - | Arxiv | - Não se trata de torcer um modelo. Eles mostram que as marcas d'água nos dados de treinamento são reconhecíveis na saída e permitem reivindicações de propriedade intelectual |
| Comparando a robustez das marcas d'água de imagens | - | 2024 | GitHub | Arxiv | - Apenas uma referência/estrutura para testar marcas d'água |
| Ajuste fino gratuito: um esquema de marca d'água plug-and-play para redes neurais profundas | ACM MM | 2023 | Não procurei ainda | Arxiv | - Não se trata de modelos generativos, mas de modelos discriminativos |
| Ataque adversário para proteção robusta de marca d'água contra removedores cegos e baseados em pintura | ACM MM | 2023 | Não procurei ainda | - | - Marca d’água post hoc com maior robustez contra pintura interna |
| Uma nova estrutura de marca d'água de vídeo profunda com robustez aprimorada para compactação H.264/AVC | ACM MM | 2023 | GitHub | - | - Marca d'água post-hoc para vídeos |
| Marca d'água prática e dispersa profunda com sincronização e fusão | ACM MM | 2023 | Não procurei ainda | Arxiv | - Marca d'água post-hoc para imagens com maior robustez às transformações |
| Detecção de imagem sintética generalizável por meio de aprendizagem contrastiva guiada por linguagem | - | 2023 | GitHub | Arxiv | - Não se trata de root, mas de detecção de imagem GenAI |
| Aprimorando a robustez da impressão digital baseada em aprendizado profundo para melhorar a atribuição de deepfake | ACM MM-Ásia | 2022 | - | - | - Não se trata de enraizamento, mas de estratégias de robustez de transformação para marcas d'água |
| Você foi pego roubando meu bilhete de loteria premiado! Fazendo um bilhete de loteria reivindicar sua propriedade | NeuroIPS | 2021 | GitHub | Arxiv | - Marca d'água na máscara de dispersão dos bilhetes de loteria vencedores |
| Modelos generativos de autoconsumo enlouquecem | ICLR (Pôster) | 2024 | - | Arxiv | - Contém um motivo pelo qual a detecção GenAI é importante: remoção de conteúdo gerado de conjuntos de treinamento |
| Papel | Anais / Diário | Ano do local/última atualização | Código | Fonte alternativa em PDF | Notas |
|---|---|---|---|---|---|
| Detecção proativa de clonagem de voz com marca d'água localizada | - | 2024 | GitHub | Arxiv | - Autor Meta/FAIR |
| MaskMark: marca d'água neural robusta para fala real e sintética | ICASSP | 2024 | Amostras de áudio | IEEE Explorar | - |
| Marca d'água colaborativa para síntese de fala adversária | ICASSP | 2024 | - | Arxiv | - Autor Meta/FAIR |
| HiFi-GAN: Redes Adversariais Gerativas para Síntese de Fala Eficiente e de Alta Fidelidade | NeuroIPS | 2020 | GitHub | Arxiv | - GAN muito bom para síntese de fala (TODO: Isso é SotA?) - Pode fazer síntese ao vivo mesmo na CPU - A qualidade está no mesmo nível dos modelos autorregressivos |
| Dados de treinamento falsificados para contramedidas de falsificação de fala podem ser criados com eficiência usando vocoders neurais | ICASSP | 2023 | - | Arxiv | - Incluir dados de treinamento gerados por vocoder para aprimorar os recursos de detecção de contramedidas |
| AudioQR: marcas d'água de áudio neural profundo para código QR | IJCAI | 2023 | GitHub | - | - Códigos QR imperceptíveis em áudio para deficientes visuais |
| Papel | Anais / Diário | Ano do local/última atualização | Código | Fonte alternativa em PDF | Notas |
|---|---|---|---|---|---|
| Desafio ASVspoof 2021 | - | 2021 | GitHub | Arxiv | - Desafio para detecção de falsificação de áudio |
| ADD 2022: o primeiro desafio de detecção de síntese profunda de áudio | ICASSP | 2022 | GitHub | Arxiv | - Site oficial do desafio chinês (SEM HTTPS!) |
| Papel | Anais / Diário | Ano do local/última atualização | Código | Fonte alternativa em PDF | Notas |
|---|---|---|---|---|---|
| Marcas d’água na areia: impossibilidade de marcas d’água fortes para modelos generativos | - | 2023 | GitHub | Arxiv | - |
| Transformador de marca d'água adversário: rumo ao rastreamento da proveniência do texto com ocultação de dados | S&P | 2021 | GitHub | Arxiv | - |
| Marca d'água resiliente para códigos gerados por LLM | - | 2024 | Apêndice do Github | Arxiv | - Código |
| Marca d'água de vários bits comprovadamente robusta para texto gerado por IA por meio de código de correção de erros | - | 2024 | - | Arxiv | - Correção de erros |
| Marca d'água robusta comprovável para texto gerado por IA | ICLR | 2024 | GitHub | Arxiv | - Marca d'água LLM aparentemente boa e robusta |
| Rumo a marca d'água codificável para injeção de informações de vários bits em LLMs | ICLR | 2024 | GitHub | Arxiv | - PENDÊNCIA |
| Papel | Anais / Diário | Ano do local/última atualização | Código | Fonte alternativa em PDF | Notas |
|---|---|---|---|---|---|
| Roubando modelos de aprendizado de máquina: ataques e contramedidas para redes adversárias generativas | ACSAC | 2021 | - | Arxiv | - |
| Ataque e defesa de extração de modelo em modelos generativos profundos | Revista de Física | 2022 | - | - | - |
| Extração de Modelos e Defesas em Redes Adversariais Gerativas | - | 2021 | - | Arxiv | - |
| Papel | Anais / Diário | Ano do local/última atualização | Código | Fonte alternativa em PDF | Notas |
|---|---|---|---|---|---|
| Uma pesquisa abrangente sobre marcas d’água robustas em imagens | Neurocomputação | 2022 | - | Arxiv | - Não se trata de enraizamento de modelo |
| Uma revisão sistemática sobre marca d'água de modelo para redes neurais | Fronteiras em Big Data | 2021 | - | Arxiv | - Não se trata de enraizamento de modelo |
| Uma revisão abrangente sobre marca d'água de imagens digitais | - | 2022 | - | Arxiv | - Não se trata de enraizamento de modelo |
| Proteção de direitos autorais em IA generativa: uma perspectiva técnica | - | 2024 | - | Arxiv | - Sobre proteção IP no GenAI em geral |
| Segurança e privacidade em dados generativos no AIGC: uma pesquisa | - | 2023 | - | Arxiv | - Sobre aspectos de segurança no GenAI em geral |
| Detectando multimídia gerada por grandes modelos de IA: uma pesquisa | - | 2024 | - | Arxiv | - Sobre a detecção de GenAI em geral |
| Detecção de deepfake de áudio: uma pesquisa | - | 2023 | - | Arxiv | - Contém uma visão geral de conjuntos de dados de áudio falsificados, métodos de falsificação e métodos de detecção - Muito bom serviço |
Resumo da sistematização apresentada nesta revisão.
| Meta | Explicação | Motivação |
|---|---|---|
| Fidelidade | Alta qualidade de previsão em tarefas originais | o desempenho do modelo não deve degradar significativamente |
| Robustez | A marca d'água deve resistir à remoção | protege contra evasão de direitos autorais |
| Confiabilidade | Mínimos falsos negativos | garante que a propriedade legítima seja reconhecida |
| Integridade | Mínimo de falsos positivos | evita acusações injustas de roubo |
| Capacidade | Suporta grandes quantidades de informações | permite marcas d'água abrangentes |
| Segredo | A marca d'água deve ser secreta e indetectável | impede a detecção não autorizada |
| Eficiência | Inserção e verificação rápida de marca d'água | evita carga computacional |
| Generalidade | Independente de conjuntos de dados e algoritmos de ML | facilita a aplicação generalizada |
