الحفاظ على الهوية، تصميم الرأس ثلاثي الأبعاد من خلال تقطير نقاط العرض المتعدد

بحري باتوهان بيلسين، وأحمد بيرك جوكمان، وفركان جوزلانت، وأيسيجول دوندار

دعابة

يعمل تصميم الرأس ثلاثي الأبعاد على تحويل ملامح الوجه الواقعية إلى تمثيلات فنية، مما يعزز مشاركة المستخدم عبر تطبيقات الألعاب والواقع الافتراضي. في حين أن المولدات المدركة للأبعاد الثلاثية قد حققت تقدمًا كبيرًا، فإن العديد من أساليب التصميم ثلاثي الأبعاد توفر في المقام الأول مناظر شبه أمامية وتكافح من أجل الحفاظ على الهويات الفريدة للموضوعات الأصلية، مما يؤدي غالبًا إلى مخرجات تفتقر إلى التنوع والتفرد. تتناول هذه الورقة هذه التحديات من خلال الاستفادة من نموذج PanoHead، وتجميع الصور من منظور شامل بزاوية 360 درجة. نقترح إطارًا جديدًا يستخدم التقطير السلبي لاحتمال السجل (LD) لتعزيز الحفاظ على الهوية وتحسين جودة الأسلوب. من خلال دمج نقاط الشبكة متعددة العرض وتدرجات المرآة داخل بنية GAN ثلاثية الأبعاد وإدخال تقنية وزن رتبة النقاط، يحقق نهجنا تحسينات نوعية وكمية كبيرة. لا تعمل النتائج التي توصلنا إليها على تحسين حالة تصميم الرأس ثلاثي الأبعاد فحسب، بل توفر أيضًا رؤى قيمة حول عمليات التقطير الفعالة بين نماذج الانتشار وشبكات GAN، مع التركيز على القضية الحاسمة المتمثلة في الحفاظ على الهوية.

المتطلبات والتثبيت

تأكد من أن لديك Python 3.8 64 بت، وPyTorch 11.1 (أو أعلى)، وCUDA 11.3 (أو أعلى).
ويفضل إنشاء بيئة جديدة عبر conda أو venv وتنشيط البيئة.
مستودع النسخ: git clone --recursive https://github.com/three-bee/3d_head_stylization.git
تثبيت تبعيات النقطة: cd ./3d_head_stylization && pip install -r requirements.txt

✂️ إعداد مجموعة البيانات

نحن نتبع نهج PanoHead في استخراج الوضعية ومحاذاة الوجه. لهذا، تحتاج إلى اتباع إجراء الإعداد الخاص بـ PanoHead والتأكد من عدم تخطي إعداد 3DDFA_V2. بعد ذلك، قم بتشغيل PanoHead/projector.py واحذف مرحلة project_pti لإجراء تشفير W+ فقط.

من أجل راحتك، نقدم لك عناصر W+ الكامنة للعديد من الهويات الواقعية في مجلد example .

؟ نقاط التفتيش

قم بتنزيل جميع الشبكات إلى المواقع التي تريدها. نحن نقدم أيضًا نقاط تفتيش مولدة منمقة للعديد من المطالبات في هذا الرابط.

شبكة	اسم الملف	موقع
بانوهيد	`easy-khair-180-gpc0.8-trans10-025000.pkl`	`${G_ckpt_path}`
الرؤية الواقعية v5.1	`Realistic_Vision_V5.1_noVAE/`	`${diff_ckpt_path}`
حافة شبكة التحكم	`sd-controlnet-canny/`	`${controlnet_edge_path}`
التحكم في عمق الشبكة	`sd-controlnet-depth/`	`${controlnet_depth_path}`
عمق أي شيء V2	`depth_anything_v2_vitb.pth`	`${depth_path}`

بداية سريعة

قم بتغيير ${stylized_G_ckpt_path} بمسارات نقاط التفتيش الواردة في هذا الرابط. يوفر المجلد example العديد من الرؤوس المشفرة بـ W+ الواقعية. سيؤدي إعطاء مسار غير صالح إلى latent_list_path إلى تصميم synth_sample_num للعينات الاصطناعية.

 python infer_LD.py 
    --save_path "work_dirs/demo" 
    --G_ckpt_path ${G_ckpt_path} 
    --stylized_G_ckpt_path ${stylized_G_ckpt_path} 
    --latent_list_path "example" 
    --synth_sample_num 10

؟ تمرين

قم بتغيير prompt و save_path . يمكنك اللعب مع المعلمات الفائقة الأخرى في ملف التدريب.

 python train_LD.py 
    --prompt "Portrait of a werewolf" 
    --save_path "work_dirs/demo" 
    --diff_ckpt_path ${diff_ckpt_path} 
    --depth_path ${depth_path} 
    --G_ckpt_path ${G_ckpt_path} 
    --controlnet_edge_path ${controlnet_edge_path} 
    --controlnet_depth_path ${controlnet_depth_path}

؟ الاقتباس

 @misc{bilecen2024identitypreserving3dhead,
      title={Identity Preserving 3D Head Stylization with Multiview Score Distillation}, 
      author={Bahri Batuhan Bilecen and Ahmet Berke Gokmen and Furkan Guzelant and Aysegul Dundar},
      year={2024},
      url={https://arxiv.org/abs/2411.13536},
}

حقوق الطبع والنشر 2024 بيلكنت DLR. مرخص بموجب ترخيص Apache، الإصدار 2.0 ("الترخيص").

يوسع

معلومات إضافية