FaceSwap

تبديل الوجه

FaceSwap هو تطبيق قمت بإنشائه في الأصل كتمرين لطلابي في "الرياضيات في الوسائط المتعددة" في جامعة وارسو للتكنولوجيا. التطبيق مكتوب بلغة Python ويستخدم محاذاة الوجه وتحسين Gauss Newton ومزج الصور لتبديل وجه الشخص الذي تراه الكاميرا بوجه شخص في الصورة المتوفرة.

ستجدون عرضًا قصيرًا لإمكانيات البرنامج في الفيديو أدناه (اضغط للذهاب إلى اليوتيوب):

كيفية استخدامه

لبدء البرنامج، سيتعين عليك تشغيل برنامج Python النصي المسمى zad2.py (بالبولندية للتمرين 2). يجب أن يكون لديك Python 3 وبعض المكتبات الإضافية مثبتة. بمجرد وجود Python على جهازك، يجب أن تكون قادرًا على تثبيت المكتبات تلقائيًا عن طريق تشغيل pip install -r requirements.txt في الدليل الجذر لمستودع الريبو.

سيتعين عليك أيضًا تنزيل نموذج محاذاة الوجه من هنا: http://sourceforge.net/projects/dclib/files/dlib/v18.10/shape_predictor_68_face_landmarks.dat.bz2 وفك ضغطه إلى دليل المشروع الرئيسي.

نسخة أسرع وأكثر استقرارا

يتوفر إصدار أسرع وأكثر استقرارًا من FaceSwap على Dropbox هنا. يعتمد هذا الإصدار الجديد على طريقة Deep Alignment Network، وهي أسرع من الطريقة المستخدمة حاليًا إذا تم تشغيلها على وحدة معالجة الرسومات وتوفر معالم وجه أكثر استقرارًا وأكثر دقة. يرجى الاطلاع على مستودع GitHub الخاص بشبكة Deep Alignment للحصول على تعليمات الإعداد.

آمل أن أجد وقتًا لتضمين هذا الإصدار الأسرع في رمز الريبو قريبًا.

كيف يعمل

والمخطط العام للطريقة هو كما يلي:

أولاً نأخذ الصورة المدخلة (صورة الشخص الذي نريد رؤيته على وجهنا) ونجد منطقة الوجه ومعالمها. بمجرد أن نلائم النموذج ثلاثي الأبعاد مع تلك المعالم (سنتحدث أكثر عن ذلك لاحقًا)، فإن رؤوس هذا النموذج المسقطة على مساحة الصورة ستكون إحداثيات النسيج الخاصة بنا.

بمجرد الانتهاء من ذلك وتهيئة كل شيء، تبدأ الكاميرا في التقاط الصور. يتم اتخاذ الخطوات التالية لكل صورة تم التقاطها:

1. يتم الكشف عن منطقة الوجه وتحديد معالم الوجه.
2. تم تركيب النماذج ثلاثية الأبعاد على المعالم الموجودة.
3. يتم عرض النماذج ثلاثية الأبعاد باستخدام pygame مع النسيج الذي تم الحصول عليه أثناء التهيئة.
4. يتم مزج صورة النموذج المعروض مع الصورة التي تم الحصول عليها من الكاميرا باستخدام التدرج (مزج ألفا) وتصحيح الألوان البسيط للغاية.
5. يتم عرض الصورة النهائية للمستخدم.

العنصر الأكثر أهمية في العملية برمتها هو تركيب النموذج ثلاثي الأبعاد. يتكون النموذج نفسه من:

• الشكل ثلاثي الأبعاد (مجموعة القمم) لوجه محايد،
• عدد من الأشكال الممزوجة التي يمكن إضافتها إلى الوجه المحايد لفتح الفم ورفع الحاجب وما إلى ذلك،
• مجموعة من المؤشرات الثلاثية في شكل الوجه والتي تشكل الشبكة المثلثة للوجه،
• مجموعتان من المؤشرات التي تحدد المراسلات بين المعالم التي تم العثور عليها بواسطة محدد الموقع التاريخي ورؤوس شكل الوجه ثلاثي الأبعاد.

يتم عرض النموذج في مساحة الصورة باستخدام المعادلة التالية:

حيث s هو الشكل المسقط، وa هي معلمة القياس، و P هما أول صفين من مصفوفة التدوير التي تقوم بتدوير شكل الوجه ثلاثي الأبعاد، و S_0 هو شكل الوجه المحايد، و w_1-n هي أوزان الشكل الممزوج، و S_1-n هي Blendshapes، t عبارة عن ناقل ترجمة ثنائي الأبعاد و n هو عدد أشكال المزج.

يتم إنجاز تركيب النموذج عن طريق تقليل الفرق بين الشكل المتوقع والمعالم المحلية. يتم تحقيق التصغير فيما يتعلق بأوزان الشكل الممزوج، والقياس، والتدوير، والترجمة، باستخدام طريقة غاوس نيوتن.

الترخيص

تم ترخيص الكود بموجب ترخيص MIT، ويتم تنزيل بعض البيانات الموجودة في المشروع من مواقع الطرف الثالث:

• براد بيت.jpg - https://en.wikipedia.org/wiki/Brad_Pitt#/media/File:Brad_Pitt_Fury_2014.jpg
• أينشتاين.jpg - https://www.viewfoo.com/uploads/images/702_1433440837_albert-einstein.jpg
• jolie.jpg - http://cdni.condenast.co.uk/720x1080/a_c/Angelina-Jolie_glamour_2mar14_rex_b_720x1080.jpg
• hand.png - http://pngimg.com/upload/hands_PNG905.png
• العين.png - http://cache4.asset-cache.net/xd/521276062.jpg?v=1&c=IWSAset&k=2&d=62CA815BFB1CE4807BD8B4D34504661CD6D7111452E48A17257DA6DB0BD6EA6DE35742C781328F67
• مصدر نموذج الوجه ثلاثي الأبعاد كانديد - http://www.icg.isy.liu.se/candide/

اتصال

إذا كنت بحاجة إلى مساعدة أو وجدت التطبيق مفيدًا، فلا تتردد في إخباري بذلك.

ماريك كوالسكي [email protected]، الصفحة الرئيسية: http://home.elka.pw.edu.pl/~mkowals6/