تنزيل ReenactGAN - تنزيل كود مصدر ReenactGAN

ReenactGAN

شفرة المصدر الأخرى

تنزيل

ReenactGAN: تعلم إعادة تمثيل الوجوه عبر نقل الحدود

تم إنشاؤها بواسطة واين وو ويونكسوان تشانغ ورين لي.

نقدم إطارًا جديدًا قائمًا على التعلم لإعادة تمثيل الوجه. الطريقة المقترحة، المعروفة باسم ReenactGAN، قادرة على نقل حركات الوجه وتعبيراته من إدخال فيديو أحادي العين لشخص عشوائي إلى فيديو شخص مستهدف. بدلاً من إجراء نقل مباشر في مساحة البكسل، مما قد يؤدي إلى آثار هيكلية، نقوم أولاً بتعيين وجه المصدر على مساحة كامنة حدودية. يتم بعد ذلك استخدام المحول لتكييف حدود وجه المصدر مع حدود الهدف. وأخيرًا، يتم استخدام وحدة فك ترميز خاصة بالهدف لإنشاء وجه الهدف المُعاد تمثيله. بفضل النقل الفعال والموثوق القائم على الحدود، يمكن لطريقتنا إجراء إعادة تمثيل الوجه بالصور الواقعية. بالإضافة إلى ذلك، فإن ReenactGAN جذاب من حيث أن عملية إعادة التمثيل بأكملها هي مجرد تغذية للأمام، وبالتالي يمكن تشغيل عملية إعادة التمثيل في الوقت الفعلي.

المتطلبات الأساسية

لينكس
بايثون 3
PyTorch 1.1.0 + CUDA 8.0 (قد تعمل الإصدارات الأخرى أيضًا.)
تهيمن

ابدء

التثبيت

استنساخ هذا الريبو:

git clone ...
cd ReenactGAN

تمرين

يتم تدريب أداة تشفير الحدود على مجموعة بيانات WFLW وHelen، ويتم تدريب كل من محول الحدود ووحدة فك التشفير على مجموعة بيانات CelebV. يتطلب تدريب برنامج التشفير قدرًا كبيرًا من الوقت، لذا يمكنك الحصول على برنامج التشفير المُدرب مسبقًا على ./pretrained_models/v8_net_boundary_detection.pth .

لتدريب محول الحدود، تشغيل

sh script/train_Transformer.sh

أنت بحاجة إلى الاهتمام بالوسيطين --root_dir و --what_target . --root_dir يشير إلى دليل مجموعة البيانات، و-- what_target يشير إلى الشخص الذي سيكون الهدف

0: Emmanuel_Macron
1: Kathleen
2: Jack_Ma
3: Theresa_May
4: Donald_Trump

لتدريب وحدة فك التشفير، قم بتشغيل

sh script/train_Decoder.sh

كما يجب عليك الاهتمام بقيمة --root_dir التي تشير إلى دليل الشخص المستهدف.

اختبار

لاختبار النموذج، قم بتشغيل

sh script/move_models.sh ./checkpoints/Transformer_2019-xx-xx_xx-xx-xx/G_BA_xx.pth ./checkpoints/Decoder_2019-xx-xx_xx-xx-xx/xx_net_G.pth trump
sh script/test.sh

الصور المستخدمة للاختبار موجودة في ./test_imgs/samples/image، ويحتوي الملف النصي ./test_imgs/samples/images_list.txt على قائمة بهذه الصور. بعد الاختبار، سوف تحصل على فلودر اسمه النتائج ، والذي يحتوي على صور الوجوه الحقيقية والمعاد تمثيلها، والحدود والحدود المتحولة للوجوه الحقيقية. وهنا بعض النتائج.

يمكنك الحصول على نماذجنا المدربة من Decoder و Transformer.

الاقتباس

إذا وجدت ReenactGAN مفيدًا لبحثك، فيرجى الاستشهاد بما يلي:

 inproceedings{wayne2018reenactgan,
 author = {Wu, Wayne and Zhang, Yunxuan and Li, Cheng and Qian, Chen and Loy, Chen Change},
 title = {ReenactGAN: Learning to Reenact Faces via Boundary Transfer},
 booktitle = {ECCV},
 month = September,
 year = {2018}
}