Awesome GenAI Watermarking
1.0.0
Repo ini mencakup makalah tentang metode watermarking untuk model AI generatif. Watermarking adalah metode untuk menyematkan sinyal (payload) yang tidak terlihat namun dapat dipulihkan ke dalam aset digital (cover). Dengan model generatif, terdapat pendekatan yang melatih model untuk menghasilkan tanda air di setiap keluaran dan perilaku ini harusnya sulit untuk dinonaktifkan. Kami menyebutnya sebagai "Rooting Sidik Jari" atau hanya "Rooting" .
| Kertas | Prosiding / Jurnal | Tempat Tahun / Terakhir Diperbarui | Kode | Sumber PDF Alternatif | Catatan |
|---|---|---|---|---|---|
| Watermarking bukanlah Kriptografi | IWDW | 2006 | - | Halaman web penulis | - TODO |
| Kertas | Prosiding / Jurnal | Tempat Tahun / Terakhir Diperbarui | Kode | Sumber PDF Alternatif | Catatan |
|---|---|---|---|---|---|
| Sidik Jari Buatan untuk Model Generatif: Rooting Atribusi Deepfake dalam Data Pelatihan | ICCV | 2021 | - | Arxiv | - Rooting model GAN. Dengan menyematkan tanda air ke dalam data pelatihan untuk dieksploitasi kemampuan transfer |
| PTW: Penyetelan Watermark Penting untuk Generator Gambar Terlatih | USENIX | 2023 | Github | Arxiv | - Fokus pada GAN, tetapi model difusi laten juga bisa digunakan |
| Tanda Tangan Stabil: Rooting Tanda Air dalam Model Difusi Laten | ICCV | 2023 | Github | Arxiv | - Penulis Meta/FAIR Sempurnakan model sesuai dengan encoder/decoder untuk mengungkap pesan rahasia dalam outputnya. - kuat untuk menghilangkan tanda air dan pemurnian model (penurunan kualitas) - Tanda air statis |
| Tanda Tangan Stabil Tidak Stabil: Menghapus Tanda Air Gambar dari Model Difusi | - | 2024 | - | Arxiv | - Pemurnian model Signature yang stabil melalui finetuning |
| Watermarking yang Fleksibel dan Aman untuk Model Difusi Laten | ACM MM | 2023 | - | - | - Referensi Tanda Tangan Stabil dan ditingkatkan dengan menambahkan fleksibilitas dengan memungkinkan penyematan pesan yang berbeda dengan penyesuaian |
| Kerangka Kerja Tanda Air Plug-and-Play Tanpa Pelatihan untuk Difusi Stabil | - | 2024 | - | Arxiv | - TODO |
| WOUAF: Modulasi Bobot untuk Atribusi Pengguna dan Sidik Jari dalam Model Difusi Teks-ke-Gambar | Lokakarya NeurIPS tentang Model Difusi | 2023 | - | Arxiv | - TODO |
| RoSteALS: Steganografi Kuat menggunakan Autoencoder Latent Space | Lokakarya CVPR (CVPRW) | 2023 | Github | Arxiv | - Penandaan air pasca-hoc |
| DiffusionShield: Tanda Air untuk Perlindungan Hak Cipta terhadap Model Difusi Generatif | Lokakarya NeurIPS tentang Model Difusi | 2023 | - | Arxiv | - Bukan tentang Rooting -Gambar yang dilindungi Keracunan Data yang akan direproduksi jika digunakan sebagai data pelatihan dalam model difusi |
| Resep Model Difusi Watermarking | - | 2023 | Github | Arxiv | - Kerangka kerja untuk 1. DM kecil tanpa syarat/kelas bersyarat melalui pelatihan dari awal pada data yang diberi watermark dan 2. DM teks-ke-gambar melalui penyesuaian keluaran pemicu pintu belakang - Banyak referensi model diskriminatif watermarking - Tanda air statis |
| Perlindungan Kekayaan Intelektual Model Difusi melalui Proses Difusi Tanda Air | - | 2023 | - | Arxiv | - Model ancaman: Periksa kepemilikan model dengan memiliki akses ke model tersebut - Sulit dibaca - Menjelaskan perbedaan watermarking statis dan dinamis dengan banyak referensi |
| Mengamankan Model Generatif Mendalam dengan Tanda Tangan Adversarial Universal | - | 2023 | Github | Arxiv | - 1. Temukan tanda tangan optimal untuk suatu gambar satu per satu. - 2. Sempurnakan model GenAI pada gambar ini. |
| Model Difusi Watermarking | - | 2023 | - | Arxiv | - Menyempurnakan keluaran pemicu pintu belakang - Tanda air statis - Penulis CISPA |
| Tangkap Segalanya di Mana Saja: Menjaga Inversi Tekstual melalui Konsep Watermarking | - | 2023 | - | Arxiv | - Menjaga konsep yang diperoleh melalui inversi tekstual (Sebuah Gambar Bernilai Satu Kata: Personalisasi Pembuatan Teks-ke-Gambar menggunakan Inversi Tekstual) dari penyalahgunaan dengan memungkinkan untuk mengidentifikasi konsep dalam gambar yang dihasilkan. - Referensi yang sangat menarik mengenai sikap perusahaan dan pemerintah terhadap watermarking |
| Watermarking Generatif Terhadap Sintesis Gambar Berbasis Subjek yang Tidak Sah | - | 2023 | - | Arxiv | - Berbeda dengan Glaze dalam gaya sintesis dari gambar sumber yang dilindungi tidak dicegah, namun dapat dikenali melalui tanda air - Penulis CISPA |
| Terhadap Kerentanan Konten yang Dihasilkan Kecerdasan Buatan Watermarking | - | 2024 | - | Tinjauan Terbuka | - Penghapusan dan pemalsuan watermark dalam satu metode, menggunakan GAN - Referensi dua jenis watermarking: 1. Pelajari/sempurnakan model untuk menghasilkan keluaran yang diberi watermark dan 2. watermarking post-hoc setelah kejadiannya (statis vs. dinamis, lihat "Perlindungan Kekayaan Intelektual Model Difusi melalui Proses Difusi Watermark") |
| Kekokohan Detektor Gambar AI: Batasan Mendasar dan Serangan Praktis | ICLR | 2024 | Github | Arxiv | - Mereka menunjukkan bahwa metode watermarking beranggaran rendah dikalahkan oleh pemurnian difusi dan mengusulkan serangan yang bahkan dapat menghilangkan watermark beranggaran tinggi dengan substitusi model |
| Serangan Transfer ke Tanda Air Gambar | - | 2024 | - | Arxiv | - Penghapusan tanda air dengan serangan "tanpa kotak" pada detektor (tidak ada akses ke API-detektor, sebagai gantinya melatih pengklasifikasi untuk membedakan gambar yang diberi tanda air dan gambar vanilla) |
| EditGuard: Watermark Gambar Serbaguna untuk Pelokalan Tamper dan Perlindungan Hak Cipta | CVPR | 2024 | Github | Arxiv | - Watermarking post-hoc dengan lokalisasi tamper |
| Tanda Air Laten: Menyuntikkan dan Mendeteksi Tanda Air di Ruang Difusi Laten | - | 2024 | - | Arxiv | - Membahas 3 kategori watermark dengan referensi: sebelum, selama, dan setelah pembuatan |
| Stable Messenger: Steganografi untuk Pembuatan Gambar Tersembunyi Pesan | - | 2023 | - | Arxiv | - Penandaan air pasca-hoc - Penyematan tanda air selama pembuatan menurut "Tanda Air Laten: Menyuntikkan dan Mendeteksi Tanda Air di Ruang Difusi Laten", tapi menurut saya ini sebenarnya post-hoc. |
| Kertas | Prosiding / Jurnal | Tempat Tahun / Terakhir Diperbarui | Kode | Sumber PDF Alternatif | Catatan |
|---|---|---|---|---|---|
| StegaStamp: Hyperlink Tak Terlihat dalam Foto Fisik | CVPR | 2020 | Github | Arxiv | - Tanda air pada gambar fisik yang dapat diambil dari aliran video - "Menuju Kerentanan Konten yang Dihasilkan Kecerdasan Buatan Watermarking" berspekulasi bahwa Deepmind SynthID bekerja serupa dengan ini |
| ChartStamp: Penyematan Bagan yang Kuat untuk Aplikasi Dunia Nyata | ACM MM | 2022 | Github | - | - Seperti StegaStamp, tetapi ini mengurangi kekacauan di area datar pada gambar |
| Contoh yang Tidak Merugikan: Mendesain Objek untuk Penglihatan yang Kuat | sarafIPS | 2021 | Github | Arxiv | - Gangguan untuk mempermudah deteksi |
| Kertas | Prosiding / Jurnal | Tempat Tahun / Terakhir Diperbarui | Kode | Sumber PDF Alternatif | Catatan |
|---|---|---|---|---|---|
| RAW: Kerangka Kerja Tanda Air Plug-and-Play yang Tangguh dan Tangguh untuk Gambar Buatan AI dengan Jaminan Terbukti | - | 2024 | Github | Arxiv | - Ditarik dari arxiv |
| PiGW: Kerangka Kerja Watermarking Generatif Plug-in | - | 2024 | Belum mencarinya | Arxiv | - Ditarik dari arxiv |
| Membandingkan Kekokohan Tanda Air Gambar (Tunggu sumber ICML) | ICML | 2024 | Github | Arxiv | - TODO |
| WMAdapter: Menambahkan Kontrol WaterMark ke Model Difusi Laten | - | 2024 | Belum mencarinya | Arxiv | - TODO |
| Steganalisis pada Digital Watermarking: Apakah Pertahanan Anda Benar-Benar Kebal? | - | 2024 | Belum mencarinya | Arxiv | - TODO |
| Menemukan jarum di tumpukan jerami: Pendekatan Kotak Hitam untuk Deteksi Tanda Air Tak Terlihat | - | 2024 | Belum mencarinya | Arxiv | - TODO |
| ProMark: Watermark Difusi Proaktif untuk Atribusi Kausal | CVPR | 2024 | - | Arxiv | - TODO |
| Memberi Tanda Air pada Gambar di Ruang Laten yang Diawasi Sendiri | ICASSP | 2022 | Github | Arxiv | - TODO |
| Autoencoder Generatif sebagai Penyerang Tanda Air: Analisis Kerentanan dan Ancaman | Lokakarya ICML DeployableGenerativeAI | 2023 | - | - | - Menyerang tanda air piksel menggunakan autoencoder LDM |
| Tanda Air Gambar Tak Terlihat Terbukti Dapat Dilepas Menggunakan AI Generatif | - | 2023 | Github | Arxiv | - Bukan tentang me-rooting model, tetapi menghilangkan tanda air dengan pemurnian difusi - Mengevaluasi tanda tangan stabil dan Tanda Air Cincin Pohon. Cincin pohon kuat melawan serangan mereka. - Autoencoder Generatif Versi Sebelumnya sebagai Penyerang Tanda Air |
| WaterDiff: Tanda Air Gambar Perseptual Melalui Model Difusi | Lokakarya IVMSP-P2 di ICASSP | 2024 | - | - | - TODO |
| Menyipitkan Mata Cukup Keras: Menyerang Hashing Perseptual dengan Pembelajaran Mesin Adversarial | USENIX | 2022 | - | - | - Serangan terhadap hash persepsi |
| Menghindari Deteksi Berbasis Tanda Air pada Konten Buatan AI | CCS | 2023 | Github | Arxiv | - Evaluasi ketahanan tanda air gambar + Sampel permusuhan untuk penghindaran |
| Model Difusi untuk Pemurnian Adversarial | ICML | 2022 | Github | Arxiv | - Pertahanan terhadap gangguan yang merugikan, termasuk tanda air yang tidak terlihat pada gambar |
| Watermark Kuat Berbasis Aliran dengan Lapisan Kebisingan yang Dapat Dibalik untuk Distorsi Kotak Hitam | AIII | 2023 | Github | - | - Seperti HiDDeN, hanya pembuat enkode/ekstraktor tanda air saraf |
| HiDDeN: Menyembunyikan Data Dengan Jaringan Dalam | ECCV | 2018 | Github | Arxiv | - Alat utama yang digunakan di Stable Signature - Berisi kira-kira yang dapat dibedakan. kompresi JPEG - Penandaan air dinamis |
| Glaze: Melindungi seniman dari mimikri gaya dengan model teks-ke-gambar | USENIX | 2023 | Github | Arxiv | - Bukan tentang Rooting, tapi menyangkal pencurian gaya |
| DUAW: Tanda Air Adversarial Universal Bebas Data terhadap Kustomisasi Difusi Stabil | - | 2023 | - | Arxiv | - Tampak mirip dengan Glaze pada pandangan pertama. Penulis mungkin kurang beruntung melakukan pekerjaan paralel |
| Pengungkapan Model Generatif yang Bertanggung Jawab Menggunakan Sidik Jari yang Dapat Diskalakan | ICLR | 2022 | Github | Arxiv | - Rooting model GAN. Tampaknya telah memperkenalkan gagasan untuk memproduksi banyak model secara cepat dan cepat dengan ruang pesan yang besar (TODO: periksa nanti), mirip dengan bagaimana Stable Signature melakukannya nanti untuk difusi yang stabil. |
| Tentang Atribusi Deepfakes | - | 2020 | - | Arxiv | - Mereka menunjukkan bahwa gambar dapat dibuat seolah-olah dihasilkan oleh model yang ditargetkan. Mereka juga mengusulkan kerangka bagaimana mencapai penyangkalan terhadap kasus-kasus seperti itu. |
| Menuju Blind Watermarking: Menggabungkan Mekanisme Invertible dan Non-invertible | ACM MM | 2022 | Github | Arxiv | - Bukan tentang me-rooting model, tetapi tentang menyerang watermarking post-hoc pada gambar - Banyak referensi tentang NN yang dapat dibalik |
| DocDiff: Peningkatan Dokumen melalui Model Difusi Residu | ACM MM | 2023 | Github | Arxiv | - Bukan tentang rooting model, tetapi tentang watermarking gambar post-hoc - Termasuk penghapusan tanda air klasik |
| Peperangan: Melanggar Perlindungan Tanda Air pada Konten Buatan AI | - | 2023 | Belum mencarinya | Arxiv | - Bukan tentang me-rooting suatu model, tetapi tentang menyerang watermarking post-hoc - Termasuk 1. penghapusan tanda air dan 2. penempaan |
| Memanfaatkan Optimasi untuk Serangan Adaptif pada Tanda Air Gambar | ICML (Poster) | 2024 | Belum mencarinya | Arxiv | - Bukan tentang me-rooting suatu model, tetapi tentang menyerang watermarking post-hoc |
| Tanda Air Gambar yang Cukup Kuat dibandingkan Model Pengeditan Berbasis Difusi | - | 2023 | Belum mencarinya | Arxiv | - Bukan tentang rooting model, tetapi tentang watermarking gambar post-hoc - Mengambil tanda air secara harfiah dan memasukkan gambar tersembunyi |
| Hei, Itu Tanda Air Milik Saya yang Tak Terlihat Diawetkan dalam Keluaran yang Dihasilkan Difusi | - | 2023 | - | Arxiv | - Bukan tentang me-rooting model. Mereka menunjukkan bahwa tanda air dalam data pelatihan dapat dikenali dalam keluaran dan memungkinkan klaim kekayaan intelektual |
| Membandingkan Kekokohan Tanda Air Gambar | - | 2024 | Github | Arxiv | - Hanya patokan/kerangka kerja untuk menguji tanda air |
| Penyempurnaan Gratis: Skema Watermarking Plug-and-Play untuk Jaringan Neural Dalam | ACM MM | 2023 | Belum mencarinya | Arxiv | - Bukan tentang model generatif, tapi model diskriminatif |
| Serangan Permusuhan untuk Perlindungan Tanda Air yang Kuat Terhadap Penghilang Tanda Air Berbasis Inpainting dan Penghilang Tanda Air Buta | ACM MM | 2023 | Belum mencarinya | - | - Tanda air post-hoc dengan ketahanan yang ditingkatkan terhadap pengecatan ulang |
| Kerangka Kerja Watermarking Video Dalam yang Baru dengan Kekokohan yang Ditingkatkan terhadap Kompresi H.264/AVC | ACM MM | 2023 | Github | - | - Tanda air post-hoc untuk video |
| Watermarking Tersebar Dalam yang Praktis dengan Sinkronisasi dan Penggabungan | ACM MM | 2023 | Belum mencarinya | Arxiv | - Tanda air post-hoc untuk gambar dengan ketahanan transformasi yang ditingkatkan |
| Deteksi Gambar Sintetis yang Dapat Digeneralisasikan melalui Pembelajaran Kontrastif yang Dipandu Bahasa | - | 2023 | Github | Arxiv | - Bukan tentang rooting, tapi deteksi gambar GenAI |
| Meningkatkan Kekokohan Sidik Jari Berbasis Pembelajaran Mendalam untuk Meningkatkan Atribusi Deepfake | ACM MM-Asia | 2022 | - | - | - Bukan tentang rooting, tapi strategi transformasi-kekokohan untuk watermark |
| Anda ketahuan mencuri tiket lotre saya yang menang! Membuat tiket lotere mengklaim kepemilikannya | sarafIPS | 2021 | Github | Arxiv | - Memberi tanda air pada topeng ketersebaran tiket lotre yang menang |
| Model Generatif yang Memakan Sendiri Menjadi GILA | ICLR (Poster) | 2024 | - | Arxiv | - Berisi alasan mengapa deteksi GenAI penting: Menghapus konten yang dihasilkan dari set pelatihan |
| Kertas | Prosiding / Jurnal | Tempat Tahun / Terakhir Diperbarui | Kode | Sumber PDF Alternatif | Catatan |
|---|---|---|---|---|---|
| Deteksi Proaktif Kloning Suara dengan Watermarking Lokal | - | 2024 | Github | Arxiv | - Penulis Meta/FAIR |
| MaskMark: Neural Watermarking yang Kuat untuk Ucapan Nyata dan Sintetis | ICASSP | 2024 | Sampel audio | IEEJelajahi | - |
| Watermarking Kolaboratif untuk Sintesis Ucapan Adversarial | ICASSP | 2024 | - | Arxiv | - Penulis Meta/FAIR |
| HiFi-GAN: Jaringan Adversarial Generatif untuk Sintesis Ucapan Fidelitas Tinggi dan Efisien | sarafIPS | 2020 | Github | Arxiv | - GAN yang sangat bagus untuk sintesis Ucapan (TODO: Apakah ini SotA?) - Dapat melakukan sintesis langsung bahkan pada CPU - Kualitas setara dengan model autoregresif |
| Data Pelatihan Palsu untuk Penanggulangan Spoofing Ucapan Dapat Dibuat Secara Efisien Menggunakan Neural Vocoder | ICASSP | 2023 | - | Arxiv | - Sertakan data pelatihan yang dihasilkan vocoder untuk meningkatkan kemampuan deteksi untuk tindakan pencegahan |
| AudioQR: Tanda Air Audio Neural Dalam Untuk Kode QR | IJCAI | 2023 | Github | - | - Kode QR yang tidak terlihat dalam audio untuk tunanetra |
| Kertas | Prosiding / Jurnal | Tempat Tahun / Terakhir Diperbarui | Kode | Sumber PDF Alternatif | Catatan |
|---|---|---|---|---|---|
| Tantangan ASVspoof 2021 | - | 2021 | Github | Arxiv | - Tantangan untuk deteksi spoofing audio |
| TAMBAHKAN 2022: Tantangan Deteksi Sintesis Audio Dalam yang pertama | ICASSP | 2022 | Github | Arxiv | - Situs web tantangan resmi Tiongkok (TANPA HTTPS!) |
| Kertas | Prosiding / Jurnal | Tempat Tahun / Terakhir Diperbarui | Kode | Sumber PDF Alternatif | Catatan |
|---|---|---|---|---|---|
| Tanda Air di Pasir: Ketidakmungkinan Tanda Air yang Kuat untuk Model Generatif | - | 2023 | Github | Arxiv | - |
| Transformator Watermarking Adversarial: Menuju Menelusuri Asal Teks dengan Penyembunyian Data | S&P | 2021 | Github | Arxiv | - |
| Watermarking Tangguh untuk Kode yang Dihasilkan LLM | - | 2024 | Lampiran Github | Arxiv | - Kode |
| Watermarking Multi-bit yang Terbukti Kuat untuk Teks yang dihasilkan AI melalui Kode Koreksi Kesalahan | - | 2024 | - | Arxiv | - Koreksi kesalahan |
| Watermarking yang Kuat dan Terbukti untuk Teks Buatan AI | ICLR | 2024 | Github | Arxiv | - Watermarking LLM yang tampaknya bagus dan kuat |
| Menuju Codable Watermarking untuk Menyuntikkan Informasi Multi-Bits ke LLM | ICLR | 2024 | Github | Arxiv | - TODO |
| Kertas | Prosiding / Jurnal | Tempat Tahun / Terakhir Diperbarui | Kode | Sumber PDF Alternatif | Catatan |
|---|---|---|---|---|---|
| Model Pembelajaran Mesin Pencuri: Serangan dan Penanggulangan untuk Jaringan Adversarial Generatif | ACSAC | 2021 | - | Arxiv | - |
| Serangan dan Pertahanan Ekstraksi Model pada Model Generatif Dalam | Jurnal Fisika | 2022 | - | - | - |
| Ekstraksi Model dan Pertahanan pada Jaringan Adversarial Generatif | - | 2021 | - | Arxiv | - |
| Kertas | Prosiding / Jurnal | Tempat Tahun / Terakhir Diperbarui | Kode | Sumber PDF Alternatif | Catatan |
|---|---|---|---|---|---|
| Survei Komprehensif tentang Penandaan Air Gambar yang Kuat | komputasi saraf | 2022 | - | Arxiv | - Bukan tentang rooting model |
| Tinjauan Sistematis tentang Model Watermarking untuk Jaringan Syaraf Tiruan | Batasan dalam Big Data | 2021 | - | Arxiv | - Bukan tentang rooting model |
| Tinjauan Komprehensif tentang Watermarking Gambar Digital | - | 2022 | - | Arxiv | - Bukan tentang rooting model |
| Perlindungan Hak Cipta dalam AI Generatif: Perspektif Teknis | - | 2024 | - | Arxiv | - Tentang perlindungan IP di GenAI secara umum |
| Keamanan dan Privasi Data Generatif di AIGC: Sebuah Survei | - | 2023 | - | Arxiv | - Tentang aspek keamanan di GenAI secara umum |
| Mendeteksi Multimedia yang Dihasilkan oleh Model AI Besar: Sebuah Survei | - | 2024 | - | Arxiv | - Tentang mendeteksi GenAI secara umum |
| Deteksi Audio Deepfake: Sebuah Survei | - | 2023 | - | Arxiv | - Berisi ikhtisar kumpulan data audio palsu, metode spoofing, dan metode deteksi - Pelayanan yang sangat bagus |
Rangkuman sistematisasi yang diberikan dalam ulasan ini.
| Sasaran | Penjelasan | Motivasi |
|---|---|---|
| Kesetiaan | Kualitas prediksi tinggi pada tugas asli | kinerja model seharusnya tidak menurun secara signifikan |
| Kekokohan | Tanda air harus menolak penghapusan | melindungi terhadap penghindaran hak cipta |
| Keandalan | Negatif palsu minimal | memastikan kepemilikan yang sah diakui |
| Integritas | Positif palsu minimal | mencegah tuduhan pencurian yang salah |
| Kapasitas | Mendukung sejumlah besar informasi | memungkinkan tanda air yang komprehensif |
| Kerahasiaan | Tanda air harus bersifat rahasia dan tidak terdeteksi | mencegah deteksi yang tidak sah |
| Efisiensi | Penyisipan dan verifikasi tanda air yang cepat | menghindari beban komputasi |
| Keumuman | Tidak tergantung pada kumpulan data dan algoritma ML | memfasilitasi penerapan secara luas |
