หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

เฟซล็อค


ภาพที่ 1
รูปที่ 1: ภาพประกอบของการก่อกวนที่ขัดแย้งกันเพื่อปกป้องภาพลักษณ์ส่วนบุคคล

ยินดีต้อนรับสู่พื้นที่เก็บข้อมูลอย่างเป็นทางการสำหรับรายงาน Edit Away และ My Face Will not Stay: Personal Biometric Defense against Malicious Generative Editing

เชิงนามธรรม

ความก้าวหน้าล่าสุดในโมเดลการแพร่กระจายทำให้การแก้ไขภาพแบบทั่วไปเข้าถึงได้ง่ายกว่าที่เคย แม้ว่าการพัฒนาเหล่านี้จะช่วยให้ผู้ใช้สามารถสร้างการแก้ไขที่สร้างสรรค์ได้อย่างง่ายดาย แต่ยังก่อให้เกิดข้อกังวลด้านจริยธรรมที่สำคัญ โดยเฉพาะอย่างยิ่งเกี่ยวกับการแก้ไขที่เป็นอันตรายต่อภาพบุคคล ซึ่งคุกคามความเป็นส่วนตัวและความปลอดภัยของข้อมูลส่วนบุคคลของบุคคล วิธีการป้องกันรูปภาพสำหรับวัตถุประสงค์ทั่วไปที่มีอยู่มุ่งเน้นไปที่การสร้างการก่อกวนที่ขัดแย้งกันเพื่อลบล้างเอฟเฟกต์การแก้ไข อย่างไรก็ตาม วิธีการเหล่านี้มักจะแสดงถึงความไม่เสถียรในการป้องกันคำขอแก้ไขที่หลากหลาย ในงานนี้ เรานำเสนอมุมมองใหม่เกี่ยวกับการป้องกันภาพบุคคลส่วนบุคคลจากการแก้ไขที่เป็นอันตราย แตกต่างจากวิธีการแบบดั้งเดิมที่มีจุดมุ่งหมายเพื่อป้องกันไม่ให้การแก้ไขมีผล วิธีการของเรา FaceLock เพิ่มประสิทธิภาพการก่อกวนที่ไม่เป็นมิตรเพื่อให้แน่ใจว่าข้อมูลไบโอเมตริกซ์ดั้งเดิม --- เช่น ลักษณะใบหน้า --- จะถูกทำลายหรือเปลี่ยนแปลงอย่างมีนัยสำคัญหลังการแก้ไข โดยแสดงผลวัตถุใน เอาต์พุตที่แก้ไขแล้วไม่สามารถจดจำไบโอเมตริกซ์ได้ วิธีการของเราผสมผสานการจดจำใบหน้าและการรับรู้ด้วยภาพเข้ากับกระบวนการเพิ่มประสิทธิภาพการก่อกวนอย่างสร้างสรรค์ ทำให้มั่นใจได้ถึงการป้องกันที่แข็งแกร่งต่อความพยายามในการแก้ไขที่หลากหลาย นอกจากนี้ เรายังให้ความกระจ่างเกี่ยวกับประเด็นสำคัญหลายประการเกี่ยวกับเมตริกการประเมินที่ใช้กันทั่วไปในการแก้ไขภาพ และเปิดเผยวิธีการโกงซึ่งสามารถจัดการได้อย่างง่ายดาย ซึ่งนำไปสู่การประเมินการป้องกันที่หลอกลวง จากการทดลองที่ครอบคลุม เราแสดงให้เห็นว่า FaceLock มีประสิทธิภาพเหนือกว่าพื้นฐานทั้งหมดอย่างมีนัยสำคัญในด้านประสิทธิภาพการป้องกันต่อการแก้ไขที่เป็นอันตรายที่หลากหลาย นอกจากนี้ วิธีการของเรายังแสดงให้เห็นถึงความแข็งแกร่งอย่างมากต่อเทคนิคการทำให้บริสุทธิ์ งานของเราไม่เพียงแต่พัฒนาเทคโนโลยีการป้องกันไบโอเมตริกที่ล้ำสมัยเท่านั้น แต่ยังวางรากฐานสำหรับแนวทางปฏิบัติที่ปลอดภัยและรักษาความเป็นส่วนตัวในการแก้ไขภาพอีกด้วย

สิ่งแวดล้อม

เราจัดเตรียมไฟล์ conda env สำหรับการตั้งค่าสภาพแวดล้อม

 conda env สร้าง -f สภาพแวดล้อม .yml
conda เปิดใช้งานการล็อคใบหน้า

แก้ไขและป้องกันภาพเดียว

เราเริ่มต้นด้วยการนำเสนอโค้ดสำหรับการแก้ไขและป้องกันรูปภาพที่นำไปใช้กับรูปภาพอินพุตเดียว

 python edit.py --input_path=${input image path} --prompt=${คำสั่งที่ใช้ในการแก้ไขภาพ} [--num_inference_steps=100 --image_guidance_scale=1.5 --guidance_scale=7.5 --help]

คำอธิบายข้อโต้แย้ง:

  • input_path เส้นทางไปยังรูปภาพที่จะแก้ไข

  • prompt คำสั่งที่ใช้ในการแก้ไขภาพ

  • การกำหนดค่า num_inference, image_guidance_scale, guidance_scale ที่ใช้เพื่อเป็นแนวทางในการแก้ไขภาพ

  • help ในการดูข้อโต้แย้งอื่น ๆ สำหรับการแก้ไขภาพ

 python Defence.py --input_path=${input image path} --defend_method=${วิธีการป้องกันที่เลือก} [--attack_budget=0.03 --step_size=0.01 --num_iters=100 --help]

คำอธิบายข้อโต้แย้ง:

  • input_path เส้นทางไปยังรูปภาพที่ต้องการป้องกัน

  • defend_method วิธีการป้องกันที่เลือก เรามีตัวเลือกระหว่าง [encoder/vae/cw/facelock]

  • attack_budget, step_size, num_iters สำหรับกระบวนการป้องกัน

  • help ในการดูข้อโต้แย้งอื่น ๆ เพื่อปกป้องภาพเดียว

ขยายขนาด

ต่อไป เราจะขยายสิ่งนี้เพื่อสาธิตโค้ดสำหรับจัดการการแก้ไขและป้องกันภาพหลายภาพ

 python main_edit.py --src_dir=${input image dir} --edit_dir=${output image dir} [--num_inference_steps=100 --image_guidance_scale=1.5 --guidance_scale=7.5 --help]

คำอธิบายข้อโต้แย้ง:

  • src_dir เส้นทางไปยังไดเร็กทอรีของรูปภาพต้นฉบับที่จะแก้ไข

  • edit_dir พาธไปยังไดเร็กทอรีที่มีรูปภาพที่แก้ไขที่สร้างขึ้น

  • อาร์กิวเมนต์อื่นๆ คล้ายกับเวอร์ชันแก้ไขรูปภาพเดี่ยว ใช้ help เพื่อดูรายละเอียดเพิ่มเติม

 python main_defend.py --image_dir=${input image dir} --output_dir=${output image dir} --defend_method=${วิธีการป้องกันที่เลือก} [--attack_budget=0.03 --step_size=0.01 --num_iters=100 --ช่วย]

คำอธิบายข้อโต้แย้ง:

  • image_dir เส้นทางไปยังไดเร็กทอรีของอิมเมจต้นฉบับที่ต้องการป้องกัน

  • output_dir เส้นทางไปยังไดเร็กทอรีที่มีอิมเมจที่ได้รับการป้องกันที่สร้างขึ้น

  • อาร์กิวเมนต์อื่นๆ คล้ายกับเวอร์ชันปกป้องรูปภาพเดี่ยว ใช้ help เพื่อดูรายละเอียดเพิ่มเติม

การประเมิน

เราจัดเตรียมโค้ดการประเมินผลสำหรับการคำนวณตัววัด PSNR, SSIM, LPIPS, CLIP-S, CLIP-I, FR ที่กล่าวถึงในรายงาน

 การประเมิน cd# PSNR metricpython eval_psnr.py --clean_edit_dir=${path to the clean edits} --defend_edit_dirs ${sequence of path to the protected edits} --seed=${the seed ที่ใช้ในการแก้ไขและประเมินผลบน}# SSIM metricpython eval_ssim.py --clean_edit_dir=${เส้นทางสู่การแก้ไขที่สะอาด} --defend_edit_dirs ${ลำดับของ เส้นทางสู่การแก้ไขที่ได้รับการป้องกัน} --seed=${เมล็ดพันธุ์ที่ใช้ในการแก้ไขและประเมินผลบน}# LPIPS metricpython eval_lpips.py --clean_edit_dir=${เส้นทางสู่การแก้ไขใหม่ทั้งหมด} --defend_edit_dirs ${ลำดับของเส้นทางไปยังการป้องกัน แก้ไข} --seed=${เมล็ดพันธุ์ที่ใช้ในการแก้ไขและประเมินผลบน}# CLIP-S metricpython eval_clip_s.py --src_dir=${path ไปยังรูปภาพต้นฉบับ} --defend_edit_dirs ${ลำดับของเส้นทางไปยังการแก้ไขที่มีการป้องกัน} --seed=${เมล็ดที่ใช้ในการแก้ไขและประเมินผลบน} [--clean_edit_dir=${เส้นทางสู่การแก้ไขที่สะอาด}]# CLIP- ฉัน metricpython eval_clip_i.py --src_dir=${path to the source image} --defend_edit_dirs ${sequence of path to the protected edits} --seed=${เมล็ดที่ใช้ในการแก้ไขและประเมินผล} [--clean_edit_dir=${path to the clean edits}]# FR metricpython eval_facial.py --src_dir=${path to the source image} --defend_edit_dirs ${sequence of path to the protected edits} --seed=${the seed ที่ใช้ในการแก้ไขและประเมินผลบน} [--clean_edit_dir=${path to the clean edits}]

สำหรับ PSNR , SSIM และ LPIPS การคำนวณจะดำเนินการระหว่างการแก้ไขบนภาพที่ป้องกันและการแก้ไขในภาพที่สะอาด ดังนั้น จำเป็นต้องมีอินพุต defend_edit_dirs และ clean_edit_dir

สำหรับ CLIP-S การคำนวณจะเกี่ยวข้องกับรูปภาพต้นฉบับ ภาพที่แก้ไข และพร้อมท์การแก้ไข ในการจัดการคำสั่งเฉพาะของคุณ คุณสามารถแก้ไข utils.py ได้ ซึ่งต้องการอินพุตเพิ่มเติมสำหรับไดเร็กทอรีอิมเมจต้นทาง src_dir หากระบุ clean_edit_dir ผลลัพธ์ CLIP-S จะถูกคำนวณสำหรับการแก้ไขรูปภาพที่ไม่มีการป้องกันด้วย

สำหรับ CLIP-I และ FR การคำนวณจะใช้รูปภาพต้นฉบับและรูปภาพที่แก้ไข โดยใช้การตั้งค่าอินพุตเดียวกันกับ CLIP-S

การอ้างอิง

หากคุณพบว่าพื้นที่เก็บข้อมูลนี้มีประโยชน์สำหรับการวิจัยของคุณ โปรดพิจารณาอ้างอิงงานของเรา:

 @article{wang2024editawayfacestay, title={Edit Away and My Face Will not Stay: Personal Biometric Defense against Malicious Generative Editing},
       author={Hanhui Wang และ Yihua Zhang และ Ruizheng Bai และ Yue Zhao และ Sijia Liu และ Zhengzhong Tu}, วารสาร={arXiv preprint arXiv:2411.16832},
 -
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด