Descarga de Awesome GenAI Watermarking - Descarga de código fuente de Awesome GenAI Watermarking

Awesome GenAI Watermarking

Código Fuente de IA

1.0.0

Descargar

Awesome-GenAI-Marca de agua

Este repositorio incluye artículos sobre los métodos de marca de agua para modelos de IA generativa. La marca de agua es un método para incrustar una señal (carga útil) imperceptible pero recuperable en un activo digital (cubierta). Con los modelos generativos, existen enfoques que entrenan el modelo para producir la marca de agua en cada salida y este comportamiento debería ser difícil de desactivar. Nos referimos a esto como "Enraizamiento de huellas dactilares" o simplemente "Enraizamiento" .

1. Introducción
- 1.1 Objetivos de la marca de agua
- 1.2 Diferencias entre esquemas de marcas de agua
- 1.3 ¿Qué información transporta la marca de agua?
- 1.4 Ataques a marcas de agua
2. Dominio de imagen
- 2.1. Artículos sobre modelos de difusión de marcas de agua Imagen
- 2.2 Marcas de agua para guiar otros objetivos
- 2.3. Artículos varios (para clasificar)
3. Dominio de audio
- 3.1. Artículos sobre audio con marcas de agua
- 3.2. Conjuntos de datos de síntesis de audio
- 3.3. Novedades en audio
- 3.4. Más enlaces sobre síntesis y detección de audio
4. Dominio de texto
5. Noticias relacionadas
6. Modelo generativo de robo de papeles
7. Documentos de encuesta
7.1 Una revisión sistemática del modelo de marca de agua para redes neuronales
8 enlaces adicionales

1. Introducción

1.1 Objetivos de la marca de agua

Detección profunda de falsificaciones (¿un activo de dígitos se genera mediante IA?)
- Contrarrestar la desinformación
- Evite que los rastreadores de datos recojan el contenido generado y provoquen que los "modelos generativos de autoconsumo se vuelvan locos"
Atribución profundamente falsa (¿quién (qué usuario de una API modelo) la generó?)
Huella digital de modelo mejorada (¿mediante qué modelo se generó?)
protección de propiedad intelectual
- Proteger modelos valiosos
- Proteger datos valiosos de entrenamiento (por ejemplo, estilo)
Localización de manipulación (¿dónde se ha manipulado un activo?)
- consulte "EditGuard: marcas de agua de imágenes versátiles para localización de manipulaciones y protección de derechos de autor"

1.2 Diferencias entre esquemas de marcas de agua

Enraizamiento de huellas dactilares frente a marcas de agua post-hoc
- Enraizamiento de huellas dactilares
  - El modelo se manipula de tal manera que su proceso de generación habitual produce resultados con marcas de agua.
  - Esto SÍ protege los modelos abiertos
- Marca de agua post-hoc
  - La marca de agua se agrega después del hecho, en un proceso separado.
  - Esto NO protege los modelos abiertos, ya que el procedimiento de incrustación de marcas de agua se puede simplemente desactivar.
Marca de agua estática versus dinámica
- Marca de agua estática
  - "[...] patrón específico en su contenido estático, como una distribución particular de parámetros" (ver "Protección de la propiedad intelectual de los modelos de difusión mediante el proceso de difusión de marcas de agua")
- Marca de agua dinámica
  - "[...] patrón específico en los contenidos dinámicos del modelo, como su comportamiento", por ejemplo, trigger-prompt-watermark-backdoors
    - Requiere al menos acceso API al modelo, ya que la marca de agua solo estará presente en un activador específico
    - Ejemplos para introducir puertas traseras en general (no para marcas de agua específicamente) en modelos de difusión:
      - TrojDiff: ataques troyanos a modelos de difusión con diversos objetivos
      - ¿Cómo hacer puertas traseras a los modelos de difusión?
Mecanismo de sintonización
- A través de datos de entrenamiento
  - por ejemplo, huellas dactilares artificiales para modelos generativos: enraizamiento de la atribución deepfake en datos de entrenamiento) -> "Plug-and-play", ya que funciona en todas las arquitecturas debido a su transferibilidad
- Mediante ajuste conjunto de un modelo y un decodificador (tomado de un par de codificador/decodificador) en algunas muestras
  - por ejemplo, la firma estable: marcas de agua de enraizamiento en modelos de difusión latente (requiere un modelo generativo latente)
Flexibilidad: ¿Qué tan rápido se puede rootear un modelo?
- Formación completa para cada instancia.
  - por ejemplo, huellas dactilares artificiales para modelos generativos: enraizamiento de la atribución deepfake en datos de entrenamiento
- Ajuste fino para cada instancia
  - por ejemplo, la firma estable: enraizamiento de marcas de agua en modelos de difusión latente
- Afinando una vez
  - por ejemplo, utilizando una matriz de mensajes como en el modelo de marca de agua flexible y segura para difusión latente

1.3 ¿Qué información transporta la marca de agua?

Activo generado si/no
Identidad de la parte de la marca de agua
Identificador del activo en la base de datos de procedencia (puede reemplazar el hash perceptivo, mencionado en "RoSteALS: esteganografía robusta utilizando el espacio latente del codificador automático")

1.4 Ataques a marcas de agua

Eliminación de marcas de agua
- Eliminar una marca de agua de un activo digital determinado
- Objetivos del atacante
  - Se puede afirmar que un activo falso es real
    - Deshabilitar reclamos de IP
    - Desinformación
    - Suplantación de sensores (extraño, pero se mencionó en Divulgación responsable de modelos generativos que utilizan huellas dactilares escalables)
- Propiedad de robustez
  - La eliminación de la marca de agua debería disminuir la calidad del activo. Esto niega la utilidad del activo para objetivos maliciosos.
Falsificación de marcas de agua (denominada suplantación de identidad en Robustez de los detectores de imágenes de IA: límites fundamentales y ataques prácticos)
- Agregar una marca de agua a un activo digital determinado
- Objetivos del atacante
  - Afirmaciones falsas de propiedad intelectual
  - Un activo real puede ser denunciado como falso (Desinformación)
  - Pérdida de reputación después de vincular contenido obsceno con el modelo (mencionado en Robustez de los detectores de imágenes de IA: límites fundamentales y ataques prácticos)
Purificación de modelos
- Un modelo con marca de agua que sólo debería producir resultados con marcas de agua, incluso si se distribuye a partes que no son de confianza (es decir, firma estable), se "purifica" de una manera que elimina las marcas de agua en su resultado.
- Objetivos del atacante
  - Obtenga un modelo que no produzca contenido con marca de agua.
- Propiedad de robustez
  - Eliminar la funcionalidad de marca de agua del modelo debería disminuir la calidad de salida. Esto niega la utilidad del activo para objetivos maliciosos.

Modelos de amenazas

Caja blanca
- El atacante tiene acceso completo a un modelo de IA generativa
... HACER

Diferencia entre marcas de agua y criptografía

Papel	Actas / Revista	Año del lugar / Última actualización	Código	Fuente PDF alternativa	Notas
La marca de agua no es criptografía	IWDW	2006	-	Página web del autor	- HACER

2. Dominio de imagen

2.1 Artículos sobre modelos de difusión de marcas de agua (resultados) (Imagen)

Papel	Actas / Revista	Año del lugar / Última actualización	Código	Fuente PDF alternativa	Notas
Huellas dactilares artificiales para modelos generativos: arraigando la atribución deepfake en los datos de entrenamiento	ICCV	2021	-	arxiv	- Rooteo de modelos GAN. Al incorporar marcas de agua en los datos de entrenamiento para explotar transferibilidad
PTW: Marca de agua de ajuste fundamental para generadores de imágenes previamente entrenados	USENIX	2023	GitHub	arxiv	- Centrarse en las GAN, pero los modelos de difusión latente también deberían funcionar
La firma estable: enraizamiento de marcas de agua en modelos de difusión latente	ICCV	2023	GitHub	arxiv	- Autor Meta/FAIR Ajuste un modelo de acuerdo con el codificador/decodificador para revelar un mensaje secreto en su salida. - resistente a la eliminación de marcas de agua y purificación de modelos (deterioro de la calidad) - Marca de agua estática
La firma estable es inestable: eliminación de la marca de agua de la imagen de los modelos de difusión	-	2024	-	arxiv	- Purificación del modelo de firma estable mediante ajuste fino
Marca de agua flexible y segura para el modelo de difusión latente	ACMMM	2023	-	-	- Hace referencia a la firma estable y mejora agregando flexibilidad al permitir incrustar diferentes mensajes sin ajustes
Un marco de marca de agua plug-and-play sin capacitación para una difusión estable	-	2024	-	arxiv	- HACER
WOUAF: Modulación de peso para atribución de usuarios y huellas dactilares en modelos de difusión de texto a imagen	Taller NeurIPS sobre modelos de difusión	2023	-	arxiv	- HACER
RoSteALS: esteganografía robusta utilizando el espacio latente del codificador automático	Talleres CVPR (CVPRW)	2023	GitHub	arxiv	- Marca de agua post-hoc
DiffusionShield: una marca de agua para la protección de derechos de autor contra modelos de difusión generativa	Taller NeurIPS sobre modelos de difusión	2023	-	arxiv	- No se trata de enraizamiento -Imágenes protegidas contra el envenenamiento de datos que se reproducirán si se usan como datos de entrenamiento en el modelo de difusión.
Una receta para modelos de difusión de marcas de agua	-	2023	GitHub	arxiv	- Marco para 1. DM pequeños incondicionales/condicionales de clase mediante capacitación desde cero en datos con marcas de agua y 2. DM de texto a imagen mediante el ajuste de una salida de activación de puerta trasera - Muchas referencias sobre modelos discriminativos de marcas de agua. - Marca de agua estática
Protección de la propiedad intelectual de los modelos de difusión mediante el proceso de difusión de marcas de agua	-	2023	-	arxiv	- Modelo de amenaza: verifique la propiedad del modelo al tener acceso al modelo. - Difícil de leer - Explica la diferencia entre marcas de agua estáticas y dinámicas con muchas referencias.
Asegurar modelos generativos profundos con firma adversaria universal	-	2023	GitHub	arxiv	- 1. Encuentre la firma óptima para una imagen individualmente. - 2. Ajuste un modelo GenAI en estas imágenes.
Modelo de difusión de marcas de agua	-	2023	-	arxiv	- Ajuste de una salida de activación de puerta trasera - Marca de agua estática - Autores CISPA
Capture todo en todas partes: protegiendo la inversión textual mediante marcas de agua conceptuales	-	2023	-	arxiv	- Protege los conceptos obtenidos mediante inversión textual (Una imagen vale una palabra: personalización de la generación de texto a imagen mediante inversión textual) del abuso al permitir identificar conceptos en las imágenes generadas. - Referencias muy interesantes sobre posturas de empresas y gobiernos sobre las marcas de agua.
Marca de agua generativa contra la síntesis de imágenes no autorizada basada en sujetos	-	2023	-	arxiv	- A diferencia de Glaze, la síntesis de estilo a partir de imágenes fuente protegidas no se impide, pero se puede reconocer mediante marcas de agua. - Autores CISPA
Hacia la vulnerabilidad del contenido generado por inteligencia artificial con marcas de agua	-	2024	-	AbrirRevisión	- Eliminación y falsificación de marcas de agua en un solo método, utilizando GAN - Hace referencia a dos tipos de marcas de agua: 1. Aprender/ajustar el modelo para producir resultados con marcas de agua y 2. marcas de agua post-hoc después del hecho (estática versus dinámica, consulte "Protección de la propiedad intelectual de los modelos de difusión mediante el proceso de difusión de marcas de agua")
Robustez de los detectores de imágenes de IA: límites fundamentales y ataques prácticos	ICLR	2024	GitHub	arxiv	- Muestran que los métodos de marcas de agua de bajo presupuesto son superados por la purificación por difusión y proponen un ataque que puede incluso eliminar marcas de agua de alto presupuesto mediante la sustitución de modelos.
Un ataque de transferencia a marcas de agua de imágenes	-	2024	-	arxiv	- Eliminación de marcas de agua mediante un ataque "sin caja" a los detectores (sin acceso a la API del detector, en lugar de entrenar al clasificador para distinguir las imágenes con marcas de agua y las estándar)
EditGuard: Marca de agua de imagen versátil para localización de manipulaciones y protección de derechos de autor	CVPR	2024	GitHub	arxiv	- Marca de agua post-hoc con localización de manipulación
Marca de agua latente: inyecte y detecte marcas de agua en el espacio de difusión latente	-	2024	-	arxiv	- Analiza 3 categorías de marcas de agua con referencias: antes, durante y después de la generación.
Stable Messenger: esteganografía para la generación de imágenes ocultas en mensajes	-	2023	-	arxiv	- Marca de agua post-hoc - Incrustación de marcas de agua durante la generación según "Marca de agua latente: inyectar y detectar marcas de agua en el espacio de difusión latente", pero creo que en realidad es post-hoc.

2.2 Marcas de agua para guiar otros objetivos

Papel	Actas / Revista	Año del lugar / Última actualización	Código	Fuente PDF alternativa	Notas
StegaStamp: hipervínculos invisibles en fotografías físicas	CVPR	2020	GitHub	arxiv	- Marca de agua en imágenes físicas que se pueden capturar desde una transmisión de video. - "Hacia la vulnerabilidad del contenido generado por inteligencia artificial con marcas de agua" especula que Deepmind SynthID funciona de manera similar a esto
ChartStamp: sólida integración de gráficos para aplicaciones del mundo real	ACMMM	2022	GitHub	-	- Como StegaStamp, pero introduce menos desorden en las regiones planas de las imágenes.
Ejemplos no contradictorios: diseño de objetos para una visión robusta	NeurIPS	2021	GitHub	arxiv	- Perturbaciones para facilitar la detección.

2.3 Artículos varios (por clasificar...)

Papel	Actas / Revista	Año del lugar / Última actualización	Código	Fuente PDF alternativa	Notas
RAW: un marco de marca de agua plug-and-play robusto y ágil para imágenes generadas por IA con garantías demostrables	-	2024	GitHub	arxiv	- Retirado de arxiv
PiGW: un marco de marca de agua generativo enchufable	-	2024	No lo busqué todavía	arxiv	- Retirado de arxiv
Evaluación comparativa de la solidez de las marcas de agua de imágenes (espere la fuente ICML)	ICML	2024	GitHub	arxiv	- HACER
WMAdapter: Agregar control WaterMark a modelos de difusión latente	-	2024	No lo busqué todavía	arxiv	- HACER
Esteganálisis sobre marcas de agua digitales: ¿es su defensa realmente impermeable?	-	2024	No lo busqué todavía	arxiv	- HACER
Encontrar agujas en un pajar: un enfoque de caja negra para la detección de marcas de agua invisibles	-	2024	No lo busqué todavía	arxiv	- HACER
ProMark: Marca de agua de difusión proactiva para atribución causal	CVPR	2024	-	arxiv	- HACER
Imágenes con marcas de agua en espacios latentes autosupervisados	ICASP	2022	GitHub	arxiv	- HACER
Codificadores automáticos generativos como atacantes de marcas de agua: análisis de vulnerabilidades y amenazas	Taller ICML ImplementableGenerativeAI	2023	-	-	- Ataque a marcas de agua de píxeles mediante codificadores automáticos LDM
Las marcas de agua de imágenes invisibles se pueden eliminar mediante IA generativa	-	2023	GitHub	arxiv	- No se trata de rootear un modelo, sino de eliminar marcas de agua con purificación por difusión. - Evalúa la firma estable y las marcas de agua de los anillos de los árboles. Los anillos de los árboles son resistentes a sus ataques. - Versión anterior de codificadores automáticos generativos como atacantes de marcas de agua
WaterDiff: marcas de agua de imágenes perceptivas mediante modelo de difusión	Taller IVMSP-P2 en el ICASSP	2024	-	-	- HACER
Entrecerrar los ojos lo suficiente: atacar el hash perceptivo con aprendizaje automático adversario	USENIX	2022	-	-	- Ataques a hashes perceptivos
Evadir la detección basada en marcas de agua de contenido generado por IA	CCS	2023	GitHub	arxiv	- Evaluación de robustez de marcas de agua de imagen + Muestra adversaria para evasión
Modelos de difusión para la purificación adversaria	ICML	2022	GitHub	arxiv	- Defensa contra la perturbación adversaria, incluidas marcas de agua imperceptibles en imágenes
Marca de agua robusta basada en flujo con capa de ruido invertible para distorsiones de caja negra	AIII	2023	GitHub	-	- Al igual que HiDDeN, solo un codificador/extractor de marcas de agua neuronales
HiDDeN: Ocultar datos con redes profundas	ECV	2018	GitHub	arxiv	- Herramienta principal utilizada en Stable Signature - Contiene aprox. diferenciables. de compresión JPEG - Marca de agua dinámica
Glaze: protegiendo a los artistas de la imitación de estilo mediante modelos de texto a imagen	USENIX	2023	GitHub	arxiv	- No se trata de enraizar, sino de negar el robo de estilo.
DUAW: Marca de agua adversaria universal sin datos contra la personalización de difusión estable	-	2023	-	arxiv	- Parece similar a Glaze a primera vista. Es posible que los autores hayan tenido la mala suerte de realizar un trabajo paralelo
Divulgación responsable de modelos generativos utilizando huellas dactilares escalables	ICLR	2022	GitHub	arxiv	- Rooteo de modelos GAN. Parece haber introducido la idea de producir de forma escalable muchos modelos rápidamente con un gran espacio para mensajes (TODO: verifique esto más adelante), similar a cómo lo hizo Stable Signature más tarde para una difusión estable.
Sobre la atribución de deepfakes	-	2020	-	arxiv	- Muestran que se puede crear una imagen que parece haber sido generada por un modelo específico. También proponen un marco para lograr la negación de tales casos.
Hacia una marca de agua ciega: combinación de mecanismos reversibles y no reversibles	ACMMM	2022	GitHub	arxiv	- No se trata de rootear un modelo, sino de atacar las marcas de agua post-hoc de las imágenes. - Muchas referencias sobre NN reversibles.
DocDiff: Mejora de documentos mediante modelos de difusión residual	ACMMM	2023	GitHub	arxiv	- No se trata de rootear un modelo, sino de poner marcas de agua post-hoc en las imágenes. - Incluye eliminación clásica de marcas de agua.
Warfare: Rompiendo la protección de marca de agua del contenido generado por IA	-	2023	No lo busqué todavía	arxiv	- No se trata de rootear un modelo, sino de atacar las marcas de agua post-hoc. - Incluye 1. eliminación de marcas de agua y 2. forjado
Aprovechamiento de la optimización para ataques adaptativos a marcas de agua de imágenes	ICML (póster)	2024	No lo busqué todavía	arxiv	- No se trata de rootear un modelo, sino de atacar las marcas de agua post-hoc.
Una marca de agua de imagen algo sólida frente a los modelos de edición basados en difusión	-	2023	No lo busqué todavía	arxiv	- No se trata de rootear un modelo, sino de poner marcas de agua post-hoc en las imágenes. - Toma las marcas de agua literalmente e inyecta imágenes ocultas
Oye, eso es mío. Las marcas de agua imperceptibles se conservan en las salidas generadas por difusión.	-	2023	-	arxiv	- No se trata de rootear un modelo. Muestran que las marcas de agua en los datos de entrenamiento son reconocibles en la salida y permiten reclamos de propiedad intelectual.
Evaluación comparativa de la solidez de las marcas de agua de imágenes	-	2024	GitHub	arxiv	- Sólo un punto de referencia/marco para probar marcas de agua contra
Ajuste gratuito: un esquema de marca de agua plug-and-play para redes neuronales profundas	ACMMM	2023	No lo busqué todavía	arxiv	- No se trata de modelos generativos, sino de modelos discriminativos.
Ataque adversario para una sólida protección de marcas de agua contra eliminadores de marcas de agua ciegos y basados en pintura interna	ACMMM	2023	No lo busqué todavía	-	- Marca de agua post-hoc con robustez mejorada contra pintura incrustada
Un nuevo marco de marca de agua de video profundo con solidez mejorada para la compresión H.264/AVC	ACMMM	2023	GitHub	-	- Marca de agua post-hoc para vídeos.
Práctica marca de agua profundamente dispersa con sincronización y fusión	ACMMM	2023	No lo busqué todavía	arxiv	- Marca de agua post-hoc para imágenes con mayor solidez a las transformaciones
Detección de imágenes sintéticas generalizables mediante aprendizaje contrastivo guiado por el lenguaje	-	2023	GitHub	arxiv	- No se trata de enraizamiento, sino de detección de imágenes GenAI
Mejora de la solidez de la toma de huellas dactilares basada en aprendizaje profundo para mejorar la atribución de deepfake	ACM MM-Asia	2022	-	-	- No se trata de enraizamiento, sino de estrategias de transformación-robustez para marcas de agua.
¡Te han pillado robando mi billete de lotería ganador! Hacer que un billete de lotería reclame su propiedad	NeurIPS	2021	GitHub	arxiv	- Marca de agua en la máscara de escasez de los billetes de lotería ganadores.
Los modelos generativos de autoconsumo se vuelven locos	ICLR (póster)	2024	-	arxiv	- Contiene una razón por la que la detección de GenAI es importante: eliminar el contenido generado de los conjuntos de entrenamiento

3. Dominio de audio

3.1 Artículos sobre marcas de agua (audio)

Papel	Actas / Revista	Año del lugar / Última actualización	Código	Fuente de PDF alternativa	Notas
Detección proactiva de clonación de voz con marcas de agua localizadas	-	2024	GitHub	arxiv	- Autor Meta/FAIR
MaskMark: Marca de agua neuronal robusta para voz real y sintética	ICASP	2024	Muestras de audio	IEEExplorar	-
Marca de agua colaborativa para la síntesis de discursos contradictorios	ICASP	2024	-	arxiv	- Autor Meta/FAIR
HiFi-GAN: redes generativas adversarias para una síntesis de voz eficiente y de alta fidelidad	NeurIPS	2020	GitHub	arxiv	- Muy buena GAN para síntesis de voz (TODO: ¿Es esto SotA?) - Puede realizar síntesis en vivo incluso en la CPU - La calidad está a la par de los modelos autorregresivos.
Los datos de entrenamiento falsificados para contramedidas contra la falsificación del habla se pueden crear de manera eficiente utilizando codificadores de voz neuronales	ICASP	2023	-	arxiv	- Incluir datos de entrenamiento generados por vocoder para mejorar las capacidades de detección de contramedidas.
AudioQR: marcas de agua de audio neuronal profundo para códigos QR	IJCAI	2023	GitHub	-	- Códigos QR imperceptibles en audio para personas con discapacidad visual

3.2 Conjuntos de datos de síntesis de audio

Papel	Actas / Revista	Año del lugar / Última actualización	Código	Fuente PDF alternativa	Notas
Desafío ASVspoof 2021	-	2021	GitHub	arxiv	- Desafío para la detección de suplantación de audio
ADD 2022: el primer desafío de detección de síntesis profunda de audio	ICASP	2022	GitHub	arxiv	- Sitio web oficial del desafío chino (¡SIN HTTPS!)

Para obtener más información (pero un conjunto de datos más antiguo, consulte Awesome-DeepFake-Learning)

3.3 Novedades sobre marcas de agua de audio

Microsoft: Presentamos el algoritmo de marca de agua para la identificación de voz sintética

3.4 Enlaces adicionales sobre síntesis y detección de audio

Temas de Github: Síntesis de audio
Tema de Github: Detección de audio deepfake
Impresionante detección de deepfakes
Impresionante aprendizaje profundo y falso
Audio estable: Difusión de audio latente condicionada por sincronización rápida (supuestamente también es muy rápida, como HIFI-GAN)
Meta IA: VoiceBox
- Modelo SotA Speech con muchas funcionalidades (eliminación de ruido (ladridos), transferencia de estilo, ...)
Bibliotecas TTS (incluida la síntesis de voz)
- Biblioteca Coqui-AI
- mímica3
- Amphion-AI
- Tortuga TTS
  - proyecto favorito de algún estudiante
  - Incluye herramientas para la detección.

4. Dominio de texto

Papel	Actas / Revista	Año del lugar / Última actualización	Código	Fuente de PDF alternativa	Notas
Marcas de agua en la arena: imposibilidad de marcas de agua fuertes para modelos generativos	-	2023	GitHub	arxiv	-
Transformador de marca de agua adversario: hacia el seguimiento de la procedencia del texto ocultando datos	S&P	2021	GitHub	arxiv	-
Marca de agua resistente para códigos generados por LLM	-	2024	Apéndice de Github	arxiv	- Código
Marca de agua de múltiples bits demostrablemente robusta para texto generado por IA mediante un código de corrección de errores	-	2024	-	arxiv	- Corrección de errores
Marca de agua robusta y demostrable para texto generado por IA	ICLR	2024	GitHub	arxiv	- Marca de agua LLM aparentemente buena y robusta
Hacia una marca de agua codificable para inyectar información de varios bits en los LLM	ICLR	2024	GitHub	arxiv	- HACER

5. Noticias relacionadas

Coalición para la procedencia y autenticidad del contenido (C2PA)
- Se basa en un modelo de confianza con autoridades firmantes que certifican al firmante de algún activo digital a través de una cadena de confianza, similar a la PKI de Internet.
- Especificaciones de C2PA
  - Explicador
    - "La procedencia generalmente se refiere a los hechos sobre la historia de un activo de contenido digital (imagen, video, grabación de audio, documento). C2PA permite a los autores de datos de procedencia vincular de forma segura declaraciones de datos de procedencia a instancias de contenido utilizando sus credenciales únicas. Estas declaraciones de procedencia se denominan afirmaciones por parte de la C2PA. Pueden incluir afirmaciones sobre quién creó el contenido y cómo, cuándo y dónde se creó. También pueden incluir afirmaciones sobre cuándo y cómo fue editado a lo largo de su vida. y editor (si es autor de datos de procedencia) siempre tiene control sobre si se incluyen datos de procedencia, así como qué afirmaciones se incluyen, como por ejemplo si se incluye información de identificación (para permitir que los activos anónimos o seudónimos se puedan eliminar en ediciones posteriores). sin invalidar o eliminar todos los datos de procedencia incluidos en un proceso llamado redacción".
    - "En las Especificaciones C2PA, las decisiones de confianza las toma el consumidor del activo basándose en la identidad de los actores que firmaron los datos de procedencia junto con la información de las afirmaciones contenidas en la procedencia. Esta firma se lleva a cabo en cada etapa significativa. momento en la vida de un activo (por ejemplo, creación, edición, etc.) mediante el uso de las credenciales únicas del actor y garantiza que los datos de procedencia permanezcan vinculados criptográficamente al activo recién creado o actualizado".
    - "Los enlaces suaves se describen utilizando afirmaciones de enlaces suaves, como a través de un hash perceptivo calculado a partir del contenido digital o una marca de agua incrustada dentro del contenido digital. Estos enlaces suaves permiten hacer coincidir el contenido digital incluso si los bits subyacentes difieren, por ejemplo debido a una representación de activos en una resolución o formato de codificación diferente. Además, si se elimina un manifiesto C2PA de un activo, pero una copia de ese manifiesto permanece en un almacén de procedencia en otro lugar, el manifiesto y el activo pueden coincidir mediante enlaces flexibles disponibles.
      - Esto incluye ISCC - Códigos de contenido
    - -> permite a los autores y actores posteriores firmar activos y dar a conocer públicamente este acto para establecer la historia del activo.
Herramientas de código abierto para la autenticidad y procedencia del contenido
- Utiliza manifiestos definidos en las especificaciones C2PA
- Permite a los fabricantes de cámaras insertar metadatos de autenticidad en el dispositivo en el momento de la captura.
Síntesis Deepmind
- Imágenes (imagen de Vertex AI)
- Audio (Lyria de Google DeepMind)
  - Transferir estilos de artista a indicaciones de audio (transferencia de estilo)
  - Lo más probable es que la marca de agua incluya el mensaje utilizado para generar audio (por ejemplo, nombre del artista). Esto permite reclamos de derechos de autor.
- En Beta (a partir del 26 de marzo de 2024)
- Cerrado como puede ser (a partir del 26 de marzo de 2024)
Google organizó un taller en junio de 2023 (Identificación y mitigación de los riesgos de seguridad de la IA generativa): "Se mencionó la marca de agua como una mitigación prometedora. Son sólidas cuando el atacante no tiene acceso al algoritmo de detección".
La marca de agua es identificada como una herramienta para establecer confianza en un entorno post-GenAI por parte de las grandes empresas tecnológicas (OpenAI impulsa la declaración de gobernanza de la IA, Google "Nuestro compromiso para promover la IA audaz y responsable, juntos") y el gobierno (la administración Biden-⁠Harris asegura compromisos voluntarios de Empresas líderes en inteligencia artificial para gestionar los riesgos que plantea la IA)
Las marcas de agua ya se pueden insertar fácilmente en los modelos de Stable Diffusion (el repositorio oficial de Stable Diffusion hace referencia a este método de repositorio de marcas de agua invisibles). Esto se basa en la esteganografía y la marca de agua digital" (DwtDct y DwtDctSvd). Consulte también la opción de marca de agua en el repositorio de Difusión estable https://github.com/CompVis/stable-diffusion/blob/main/scripts/txt2img.py#L69.
Stable Diffusion XL recomienda utilizar el paquete de pips de marcas de agua invisibles. Los algoritmos admitidos son Dwt, Dct y RivaGAN.
China prohíbe GenAI sin marcas de agua

6. Modelo generativo de robo de papeles

Papel	Actas / Revista	Año del lugar / Última actualización	Código	Fuente de PDF alternativa	Notas
Robo de modelos de aprendizaje automático: ataques y contramedidas para redes generativas adversas	ACSAC	2021	-	arxiv	-
Ataque de extracción de modelos y defensa en modelos generativos profundos	Revista de Física	2022	-	-	-
Extracción de modelos y defensas en redes generativas adversarias	-	2021	-	arxiv	-

7. Documentos de encuesta

Papel	Actas / Revista	Año del lugar / Última actualización	Código	Fuente de PDF alternativa	Notas
Una encuesta completa sobre marcas de agua de imágenes sólidas	Neurocomputación	2022	-	arxiv	- No se trata de rootear el modelo.
Una revisión sistemática sobre modelos de marcas de agua para redes neuronales	Fronteras en Big Data	2021	-	arxiv	- No se trata de rootear el modelo.
Una revisión completa sobre la marca de agua de imágenes digitales	-	2022	-	arxiv	- No se trata de rootear el modelo.
Protección de derechos de autor en IA generativa: una perspectiva técnica	-	2024	-	arxiv	- Acerca de la protección de la propiedad intelectual en GenAI en general
Seguridad y privacidad de datos generativos en AIGC: una encuesta	-	2023	-	arxiv	- Sobre aspectos de seguridad en GenAI en general
Detección de multimedia generado por grandes modelos de IA: una encuesta	-	2024	-	arxiv	- Sobre la detección de GenAI en general
Detección de audio deepfake: una encuesta	-	2023	-	arxiv	- Contiene una descripción general de conjuntos de datos de audio falsificados, métodos de falsificación y métodos de detección. - Muy buen servicio.

7.1 Una revisión sistemática del modelo de marca de agua para redes neuronales

Resumen de la sistematización dada en esta revisión.

Taxonomía

Método de incrustación
- Marca de agua en los parámetros del modelo.
- Gatillo-marca de agua-puerta trasera
Acceso de verificación
- Whitebox (acceder a los parámetros del modelo)
- Blackbox (acceso vía API)
Capacidad
- Bit cero (existe marca de agua)
- Multi-Bit (la marca de agua contiene información arbitraria)
Autenticación
- El modelo tiene marca de agua.
- ¿Por quién se marca el modelo?
Unicidad
- Todas las instancias del modelo llevan la misma marca de agua.
- Diferentes instancias de modelos llevan diferentes marcas de agua.

Requisitos y objetivos de seguridad

Meta	Explicación	Motivación
Fidelidad	Alta calidad de predicción en tareas originales.	el rendimiento del modelo no debería degradarse significativamente
Robustez	La marca de agua debe resistir la eliminación	protege contra la evasión de derechos de autor
Fiabilidad	Falsos negativos mínimos	garantiza que se reconozca la propiedad legítima
Integridad	Falsos positivos mínimos	previene acusaciones injustas de robo
Capacidad	Soporta grandes cantidades de información	permite marcas de agua completas
Secreto	La marca de agua debe ser secreta e indetectable.	evita la detección no autorizada
Eficiencia	Inserción y verificación rápidas de marcas de agua	evita la carga computacional
Generalidad	Independiente de conjuntos de datos y algoritmos de ML	facilita la aplicación generalizada

Modelo de amenaza

Conocimiento del atacante:
1. existencia de la marca de agua
2. modelo y sus parámetros
3. esquema de marca de agua utilizado
4. (partes de) los datos de entrenamiento
5. (partes de) la marca de agua en sí o el conjunto de datos de activación
Capacidades del atacante (irrelevante)
- pasivo (escuchar)
- activo (interacción)
Objetivos del atacante
- ¿Para qué modelo utiliza el atacante? (bastante inespecífico)

Ataques contra marcas de agua

Detección de marcas de agua (más débil)
Supresión de marca de agua, es decir, evitar la verificación de marca de agua
- por ejemplo, disimular cualquier presencia de una marca de agua en los parámetros y el comportamiento del modelo.
- por ejemplo, suprimir las reacciones del modelo al activador de marca de agua original
Forja de marca de agua
1. Recuperar la marca de agua del propietario legítimo y reclamar la propiedad (si no existe ningún vínculo entre la marca de agua y el propietario)
2. Agregar una nueva marca de agua que crea ambigüedad con respecto a la propiedad
3. Identificar una marca de agua falsa dentro del modelo que casualmente actúa como una marca de agua real pero en realidad no lo es.
Sobrescritura de marca de agua
1. Agregar marca de agua al modelo desactivando la anterior (fuerte)
2. Agregar marca de agua al modelo sin desactivar la anterior (débil)
Eliminación de marcas de agua
1. depende de la presencia de una marca de agua
2. Depende del esquema de marca de agua subyacente.
3. depende de la disponibilidad de datos adicionales, por ejemplo, para ajustes o reentrenamiento
  - Métodos
    - Sintonia FINA
    - Poda
    - Cuantización
    - Destilación
    - Transferencia-aprendizaje
    - Eliminación de puerta trasera

Categorización de métodos de marca de agua

Incrustar marcas de agua en los parámetros del modelo
- Agregar patrones al modelo que se pueden verificar localmente
Uso de entradas predefinidas como activadores
- Agregar comportamiento desencadenado por una entrada especial
Uso de huellas dactilares modelo para identificar instancias potencialmente robadas
- No se necesita ninguna acción adicional, simplemente reconocer un modelo basándose en algunos criterios.