نشر فريق البحث التابع لأكاديمية Alibaba Damo ورقة بحثية بعنوان "SHMT: نقل المكياج الهرمي الخاضع للإشراف الذاتي" في مؤتمر NeurIPS 2024. اقترح البحث تقنية جديدة لنقل تأثير المكياج. تستخدم هذه التقنية نماذج الانتشار الكامن لإنشاء صور مكياج بدقة، ولها آفاق تطبيق كبيرة في مجالات تطبيقات الماكياج ومعالجة الصور. يحتاج نموذج SHMT فقط إلى صورة مرجعية للمكياج وصورة للشخص المستهدف لنقل تأثيرات المكياج إلى الوجه المستهدف، مما يبسط عملية تحرير وتطبيق تأثيرات المكياج إلى حد كبير. قام الفريق بفتح كود التدريب ورمز الاختبار والنموذج المُدرب مسبقًا لتسهيل إجراء المزيد من البحث والتطوير من قبل الباحثين.
في الآونة الأخيرة، أصدر فريق البحث التابع لأكاديمية Alibaba Damo نتيجة بحثية مهمة تسمى "SHMT: نقل المكياج الهرمي الخاضع للإشراف الذاتي". وقد تم قبول الورقة من قبل المؤتمر الأكاديمي الدولي الرائد NeurIPS2024. يوضح هذا البحث تقنية نقل تأثير الماكياج الجديدة التي تستخدم نماذج الانتشار الكامن (Latent Diffusion Models) لتحقيق توليد دقيق لصور الماكياج، وضخ حيوية جديدة في مجالات تطبيق الماكياج ومعالجة الصور.
ببساطة، SHMT هي تقنية نقل مكياج، طالما تم استخدام صورة مرجعية للمكياج وصورة للشخصية المستهدفة، يمكن نقل تأثير الماكياج إلى الوجه المستهدف.
اعتمد الفريق نهجًا مفتوح المصدر في المشروع وأصدر كود التدريب ورمز الاختبار ونماذج التدريب المسبق، مما يسهل على الباحثين إجراء البحث والتطوير ذي الصلة.
أثناء عملية بناء النموذج، يوصي الفريق المستخدمين بإنشاء بيئة كوندا باسم "ldm" وإكمال الإعداد بسرعة من خلال ملف البيئة المقدم. بالإضافة إلى ذلك، تم اختيار VQ-f4 كنموذج ترميز تلقائي تم تدريبه مسبقًا في الدراسة، ويحتاج المستخدمون إلى تنزيله ووضعه في مجلد نقطة التفتيش المحدد لبدء الاستدلال بسلاسة.
يعد إعداد البيانات أمرًا أساسيًا للتشغيل الناجح لنموذج SHMT. يوصي فريق البحث بتنزيل مجموعة بيانات نقل الماكياج المقدمة من "BeautyGAN" ودمج صور الماكياج وغير الماكياج المختلفة. وفي الوقت نفسه، يعد إعداد تحليل الوجه وبيانات الوجه ثلاثية الأبعاد أمرًا بالغ الأهمية أيضًا، ويتم تفصيل الأدوات ومسارات البيانات ذات الصلة في الدراسة لضمان قدرة المستخدمين على إعداد البيانات بشكل فعال.
فيما يتعلق بالتدريب النموذجي والاستدلال، يوفر فريق البحث نصوصًا تفصيلية لسطر الأوامر حتى يتمكن المستخدمون من ضبط المعلمات وفقًا لاحتياجاتهم الخاصة. وشدد الفريق أيضًا بشكل خاص على أهمية بنية البيانات، حيث قدم أمثلة واضحة لبنية الدليل لتوجيه المستخدمين حول كيفية إعداد البيانات.
يمثل إطلاق نموذج SHMT التطبيق الناجح للتعلم الخاضع للإشراف الذاتي في مجال نقل تأثير الماكياج، ويمكن استخدامه على نطاق واسع في التجميل ومستحضرات التجميل ومعالجة الصور وغيرها من الصناعات في المستقبل. لا يوضح هذا البحث إمكانات التكنولوجيا فحسب، بل يضع أيضًا أساسًا متينًا للبحث المتعمق في المجالات ذات الصلة.
مدخل المشروع: https://github.com/Snowfallingplum/SHMT
أبرز النقاط:
1. يستخدم نموذج SHMT نموذج الانتشار الكامن لتحقيق نقل تأثير الماكياج، وقد تم قبوله من قبل NeurIPS2024.
2. يوفر الفريق كودًا مفتوح المصدر كاملاً ونماذج مدربة مسبقًا لتسهيل تطبيق الباحثين وتحسينهم.
3. يعد إعداد البيانات وتعديل المعلمة أمرًا بالغ الأهمية، وتوفر الدراسة إرشادات مفصلة حول عملية التشغيل وهيكل الدليل.
بشكل عام، يوفر الإصدار المفتوح المصدر لنموذج SHMT أدوات وموارد قوية لأبحاث ترحيل تأثير الماكياج، كما أن آفاق تطبيقه في مجالات التجميل ومستحضرات التجميل ومعالجة الصور تستحق التطلع إليها. إن الابتكار والتطبيق العملي لهذا البحث يجعله إنجازًا مهمًا في هذا المجال ويضع أساسًا متينًا للأبحاث المستقبلية ذات الصلة.