Erasing Adversarial Preservation تنزيل - Erasing Adversarial Preservation تنزيل كود المصدر

Erasing Adversarial Preservation

شفرة المصدر الأخرى

1.0.0

تنزيل

⚡️المحو-الخصومة-الحفظ⚡️

"محو المفاهيم غير المرغوب فيها في نماذج الانتشار مع الحفاظ على الخصم" (NeurIPS 2024).

[؟ ورق] [؟ صفحة المشروع] [؟ الملصق] [الشرائح]

(قابس وقح؟) أوراقنا الأخرى حول محو/محو المفهوم:

أهداف رائعة لمحو المفاهيم في نماذج الانتشار وأين يمكن العثور عليها
توان آنه بوي، ترانج فو، لونج فونج، ترونج لي، بول مونتاجيو، تاماس أبراهام، دينه فونج
قيد المراجعة (Dropbox)

محو المفاهيم غير المرغوب فيها في نماذج الانتشار مع الحفاظ على التعارض ،
توان آنه بوي، لونج فونج، خانه دوان، ترونج لي، بول مونتاجيو، تاماس أبراهام، دينه فونج
نوريبس 2024 (أرشيف 2410.15618)

إزالة المفاهيم غير المرغوب فيها في النماذج التوليدية لتحويل النص إلى صورة باستخدام المطالبات القابلة للتعلم ،
توان آنه بوي، خانه دوان، ترونج لي، بول مونتاج، تاماس أبراهام، دينه فونج
نسخة أولية (arXiv 2403.12326)

خلاصة

تتفوق نماذج الانتشار في إنشاء محتوى ملفت للنظر من النص، ولكنها يمكن أن تنتج عن غير قصد محتوى غير مرغوب فيه أو ضارًا عند تدريبها على بيانات الإنترنت غير المفلترة. الحل العملي هو إزالة المفاهيم المستهدفة بشكل انتقائي من النموذج، ولكن هذا قد يؤثر على المفاهيم المتبقية. لقد حاولت الأساليب السابقة موازنة ذلك من خلال إدخال مصطلح خسارة للحفاظ على المحتوى المحايد أو مصطلح التنظيم لتقليل التغييرات في معلمات النموذج، ومع ذلك فإن حل هذه المقايضة لا يزال يمثل تحديًا. في هذا العمل، نقترح تحديد والحفاظ على المفاهيم الأكثر تأثراً بتغيرات المعلمات، والتي تسمى بالمفاهيم المتعارضة . ويضمن هذا الأسلوب محوًا ثابتًا مع الحد الأدنى من التأثير على المفاهيم الأخرى. نوضح فعالية طريقتنا باستخدام نموذج Stable Diffusion، موضحًا أنها تتفوق على أحدث أساليب المحو في إزالة المحتوى غير المرغوب فيه مع الحفاظ على سلامة العناصر الأخرى غير ذات الصلة.

الملاحظات والدوافع الرئيسية

(1) يؤدي محو المفاهيم المستهدفة المختلفة من نماذج نشر النص إلى الصورة إلى تأثيرات متفاوتة على المفاهيم المتبقية. على سبيل المثال، تؤثر إزالة "العري" بشكل كبير على المفاهيم ذات الصلة مثل "النساء" و"الرجال" ولكن تأثيرها ضئيل على المفاهيم غير ذات الصلة مثل "شاحنة القمامة". (2) تقع المفاهيم المحايدة في منتصف طيف الحساسية، مما يشير إلى أنها لا تمثل بشكل كافٍ قدرة النموذج على الحفاظ عليه. (3) علاوة على ذلك، فإن اختيار المفهوم الذي سيتم الحفاظ عليه أثناء المحو يؤثر بشكل كبير على القدرة التوليدية للنموذج؛ فالاعتماد على مفاهيم محايدة، كما في الأعمال السابقة، ليس هو الحل الأمثل. (4) وهذا يسلط الضوء على الحاجة إلى أساليب تكيفية لتحديد والحفاظ على المفاهيم الأكثر حساسية المتعلقة بالمفهوم المستهدف المراد محوه، بدلا من الاعتماد على مفاهيم محايدة/عامة ثابتة.

دليل التثبيت

 cd Adversarial-Erasing
wget https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4-full-ema.ckpt
mkdir models/erase
mv sd-v1-4-full-ema.ckpt models/erase/
wget https://huggingface.co/CompVis/stable-diffusion-v1-4/blob/main/unet/config.json
mv config.json models/erase/

متطلبات:

pip install omegaconf
pip install pytorch-lightning==1.6.5
pip install taming-transformers-rom1504
pip install kornia==0.5.11
pip install git+https://github.com/openai/CLIP.git
pip install diffusers==0.21.4
pip install -U transformers
pip install --upgrade nudenet
pip install lpips

الاستخدام

نحن نقدم نصوصًا للتدريب والتقييم للتجارب الموجودة في الورقة في ملفات bash التالية.

للحصول على النتائج في الجدول 1 من الورقة (أي محو المفاهيم المتعلقة بالكائنات)، قم بتشغيل الأمر التالي:

bash run_imagenette.sh

للحصول على النتائج في الجدول 2 من الورقة (أي مفهوم محو العري)، قم بتشغيل الأمر التالي:

bash run_nudity.sh

للحصول على النتائج في الجدول 3 من الورقة (أي محو المفاهيم الفنية)، قم بتشغيل الأمر التالي:

bash run_artist.sh

لإنتاج الشكل 1 والشكل 2 من الورقة (أي تحليل تأثير محو مفهوم الهدف)

bash run_abl_preserve.sh

يمكن العثور على قائمة المطالبات المستخدمة في الورقة في مجلد data ، بما في ذلك:

english_3000.csv : قائمة بـ 3000 كلمة إنجليزية
imagenette.csv : قائمة فئات imagenette، 500 صورة لكل فئة
unsafe-prompts4703.csv : قائمة المطالبات غير الآمنة I2P، 4703 المطالبات
long_nich_art_prompts.csv : قائمة لتوليد الأعمال الفنية من خمسة فنانين
similarity-nudity_200.csv إلى similarity-nudity-4_200.csv : قائمة لإنشاء كائنات محددة لدراسة تأثير محو مفاهيم العري وشاحنات القمامة

نحن نقدم تنفيذ طريقتنا وخطوط الأساس لدينا:

train_adversarial_gumbel.py : تنفيذ طريقتنا
train_esd.py : تنفيذ البيئة والتنمية المستدامة
train_uce.py : تنفيذ UCE
train-esd-preserve.py : تنفيذ ESD مع الحفظ لدراسة تأثير محو العري ومفاهيم شاحنات القمامة

لتعيين المفاهيم المراد محوها، قم بتعديل ملف utils_exp.py وقم بتغيير الوسيطة --prompt في ملفات bash.

نحن نقدم نتائج تقييم طريقتنا وخطوط الأساس الخاصة بنا في مجلد evaluation_folder والدفاتر المرتبطة بها لإعادة إنتاج النتائج في الورقة.

الاقتباس

إذا وجدت هذا العمل مفيدًا في بحثك، فيرجى التفكير في الاستشهاد بمقالتنا (أو أبحاثنا الأخرى؟):

 @article { bui2024erasing ,
  title = { Erasing Undesirable Concepts in Diffusion Models with Adversarial Preservation } ,
  author = { Bui, Anh and Vuong, Long and Doan, Khanh and Le, Trung and Montague, Paul and Abraham, Tamas and Phung, Dinh } ,
  booktitle = { NeurIPS } ,
  year = { 2024 }
}

@article { bui2024adaptive ,
  title = { Fantastic Targets for Concept Erasure in Diffusion Models and Where to Find Them } ,
  author = { Bui, Anh and Vu, Trang and Vuong, Long and Le, Trung and Montague, Paul and Abraham, Tamas and Phung, Dinh } ,
  journal = { Preprint } ,
  year = { 2024 }
}

@article { bui2024removing ,
  title = { Removing Undesirable Concepts in Text-to-Image Generative Models with Learnable Prompts } ,
  author = { Bui, Anh and Doan, Khanh and Le, Trung and Montague, Paul and Abraham, Tamas and Phung, Dinh } ,
  journal = { arXiv preprint arXiv:2403.12326 } ,
  year = { 2024 }
}