FaceLock

Kunci Wajah

Gambar 1: Sebuah ilustrasi timbulnya gangguan yang bersifat permusuhan demi menjaga citra pribadi.

Selamat datang di gudang resmi makalah, Edit Away dan Wajah Saya Tidak Akan Tetap: Pertahanan Biometrik Pribadi terhadap Pengeditan Generatif Berbahaya.

Abstrak

Kemajuan terkini dalam model difusi telah membuat pengeditan gambar generatif lebih mudah diakses dari sebelumnya. Meskipun perkembangan ini memungkinkan pengguna untuk melakukan pengeditan kreatif dengan mudah, perkembangan ini juga menimbulkan kekhawatiran etika yang signifikan, khususnya terkait pengeditan berbahaya pada potret manusia yang mengancam privasi dan keamanan identitas individu. Metode perlindungan gambar tujuan umum yang ada terutama berfokus pada menghasilkan gangguan yang merugikan untuk meniadakan efek pengeditan. Namun, pendekatan ini sering kali menunjukkan ketidakstabilan untuk melindungi terhadap beragam permintaan pengeditan. Dalam karya ini, kami memperkenalkan perspektif baru terhadap perlindungan potret pribadi manusia terhadap pengeditan berbahaya. Tidak seperti metode tradisional yang bertujuan untuk mencegah efek pengeditan, metode kami, FaceLock , mengoptimalkan gangguan permusuhan untuk memastikan bahwa informasi biometrik asli---seperti fitur wajah---dihancurkan atau diubah secara substansial pasca-editing, menjadikan subjek dalam keadaan yang sama. keluaran yang diedit secara biometrik tidak dapat dikenali. Pendekatan kami secara inovatif mengintegrasikan faktor pengenalan wajah dan persepsi visual ke dalam proses pengoptimalan gangguan, memastikan perlindungan yang kuat terhadap berbagai upaya pengeditan. Selain itu, kami menyoroti beberapa masalah kritis terkait metrik evaluasi yang umum digunakan dalam pengeditan gambar dan mengungkap metode curang yang dapat dengan mudah dimanipulasi, sehingga mengarah pada penilaian perlindungan yang menipu. Melalui eksperimen ekstensif, kami menunjukkan bahwa FaceLock secara signifikan mengungguli semua standar dalam kinerja pertahanan terhadap berbagai pengeditan berbahaya. Selain itu, metode kami juga menunjukkan ketahanan yang kuat terhadap teknik pemurnian. Pekerjaan kami tidak hanya memajukan pertahanan biometrik tercanggih tetapi juga menetapkan landasan bagi praktik yang lebih aman dan menjaga privasi dalam pengeditan gambar.

Lingkungan

Kami menyediakan file conda env untuk pengaturan lingkungan.

 conda env buat -f lingkungan.yml
conda mengaktifkan facelock

Edit dan Pertahankan Gambar Tunggal

Kita mulai dengan menyajikan kode untuk mengedit dan mempertahankan gambar yang diterapkan pada satu gambar masukan.

 python edit.py --input_path=${jalur gambar masukan} --prompt=${perintah instruksi yang digunakan untuk mengedit gambar} [--num_inference_steps=100 --image_guidance_scale=1.5 --guidance_scale=7.5 --help]

Penjelasan argumen:

• input_path jalur menuju gambar yang akan diedit

• prompt prompt instruksi yang digunakan untuk mengedit gambar

• num_inference, image_guidance_scale, guidance_scale digunakan untuk memandu proses pengeditan gambar

• help untuk melihat argumen lain untuk mengedit gambar

 python defend.py --input_path=${jalur gambar masukan} --defend_method=${metode pertahanan yang dipilih} [--serangan_anggaran=0,03 --step_size=0,01 --num_iters=100 --help]

Penjelasan argumen:

• input_path jalur menuju gambar yang akan dilindungi

• defend_method metode pertahanan yang dipilih, kami menyediakan opsi di antara [encoder/vae/cw/facelock]

• attack_budget, step_size, num_iters hiper-parameter untuk proses pertahanan

• help untuk melihat argumen lain untuk mempertahankan satu gambar

Peningkatan

Selanjutnya, kami memperluas ini untuk mendemonstrasikan kode untuk menangani pengeditan dan pertahanan gambar di banyak gambar.

 python main_edit.py --src_dir=${masukan gambar dir} --edit_dir=${gambar keluaran dir} [--num_inference_steps=100 --image_guidance_scale=1.5 --guidance_scale=7.5 --help]

Penjelasan argumen:

• src_dir path ke direktori sumber gambar yang akan diedit

• edit_dir jalur ke direktori yang berisi gambar yang diedit dihasilkan

• argumen lainnya mirip dengan versi pengeditan gambar tunggal, gunakan help untuk melihat lebih detail

 python main_defend.py --image_dir=${input image dir} --output_dir=${output image dir} --defend_method=${metode pertahanan yang dipilih} [--action_budget=0,03 --step_size=0,01 --num_iters=100 --membantu]

Penjelasan argumen:

• image_dir jalur ke direktori gambar sumber yang akan dilindungi

• output_dir jalur ke direktori yang berisi gambar dilindungi yang dihasilkan

• argumen lain mirip dengan versi pertahanan gambar tunggal, gunakan help untuk melihat lebih detail

Evaluasi

Kami menyediakan kode evaluasi untuk menghitung metrik PSNR, SSIM, LPIPS, CLIP-S, CLIP-I, FR yang disebutkan dalam makalah.

 evaluasi cd# PSNR metricpython eval_psnr.py --clean_edit_dir=${jalur menuju pengeditan bersih} --defend_edit_dirs ${urutan jalur menuju pengeditan yang dilindungi} --seed=${benih yang digunakan untuk mengedit dan mengevaluasi}# SSIM metricpython eval_ssim.py --clean_edit_dir=${jalur menuju pengeditan bersih} --defend_edit_dirs ${urutan jalur ke suntingan yang dilindungi} --seed=${benih yang digunakan untuk mengedit dan mengevaluasi}# LPIPS metricpython eval_lpips.py --clean_edit_dir=${jalur menuju suntingan bersih} --defend_edit_dirs $ {urutan jalur ke suntingan yang dilindungi} --seed=${benih yang digunakan untuk mengedit dan mengevaluasi}# CLIP-S metricpython eval_clip_s.py --src_dir=${jalur ke gambar sumber} --defend_edit_dirs ${urutan jalur ke hasil edit yang dilindungi} --seed=${benih yang digunakan untuk mengedit dan mengevaluasi} [--clean_edit_dir=$ {jalur menuju pengeditan bersih}]# CLIP-I metricpython eval_clip_i.py --src_dir=${jalur ke gambar sumber} --defend_edit_dirs ${urutan jalur ke pengeditan yang dilindungi} --seed=${benih yang digunakan untuk mengedit dan mengevaluasi} [--clean_edit_dir=${jalur menuju pengeditan bersih}]# FR metricpython eval_facial .py --src_dir=${jalur ke gambar sumber} --defend_edit_dirs ${urutan jalur ke hasil edit yang dilindungi} --seed=${benih yang digunakan untuk mengedit dan mengevaluasi pada} [--clean_edit_dir=${jalur menuju pengeditan bersih}]

Untuk PSNR , SSIM , dan LPIPS , penghitungan dilakukan antara pengeditan pada gambar yang dilindungi dan pengeditan pada gambar bersih. Oleh karena itu, input defend_edit_dirs dan clean_edit_dir diperlukan.

Untuk CLIP-S , komputasi melibatkan gambar sumber, gambar yang diedit, dan perintah edit. Untuk menangani instruksi unik Anda, Anda dapat memodifikasi utils.py . Ini memerlukan masukan tambahan untuk direktori gambar sumber src_dir . Jika clean_edit_dir disediakan, hasil CLIP-S juga akan dihitung untuk pengeditan pada gambar yang tidak dilindungi.

Untuk CLIP-I dan FR , komputasinya menggunakan gambar sumber dan gambar yang diedit, berbagi pengaturan masukan yang sama seperti CLIP-S .

Kutipan

Jika Anda merasa repositori ini berguna untuk penelitian Anda, mohon pertimbangkan untuk mengutip karya kami:

 @article{wang2024editawayfacestay, title={Edit Jauh dan Wajahku Tidak Akan Tinggal: Pertahanan Biometrik Pribadi terhadap Pengeditan Generatif Berbahaya},
       author={Hanhui Wang dan Yihua Zhang dan Ruizheng Bai dan Yue Zhao dan Sijia Liu dan Zhengzhong Tu}, journal={arXiv preprint arXiv:2411.16832},
 }