ComfyUI LivePortraitKJ

عقد ComfyUI لاستخدام LivePortrait

تحديث 2

تمت إضافة كاشف بديل للوجه: https://github.com/1adrianb/face-alignment

نظرًا لأن هذا يمكن أن يستخدم طراز الكاميرا الخلفية blazeface (أو SFD)، فهو أفضل بكثير للوجوه الأصغر من MediaPipe، الذي يمكنه فقط استخدام نموذج blazeface القصير. يمكن أن يستغرق الإحماء في الجولة الأولى عند استخدام هذا وقتًا طويلاً، ولكن عمليات التشغيل اللاحقة تكون سريعة.

مثال على الاكتشاف باستخدام blazeface_back_camera:

AnimateDiff_00004.34.mp4

تحديث

تم الآن دمج إعادة صياغة كل ما كان قيد التطوير تقريبًا في الملف الرئيسي، وهذا يعني أن مسارات العمل القديمة لن تعمل، ولكن يجب أن يكون كل شيء أسرع وهناك الكثير من الميزات الجديدة. لأغراض التراث، يتم نقل الفرع الرئيسي القديم إلى الفرع القديم

التغييرات

• تمت إضافة MediaPipe كبديل لـ Insightface، ويجب الآن تغطية كل شيء بموجب تراخيص MIT وApache-2.0 عند استخدامه.

• Vid2vid المناسب بما في ذلك خوارزمية التنعيم (شكرًا @melMass)

• تحسين السرعة والكفاءة، مما يسمح بالعرض في الوقت الفعلي تقريبًا حتى في وضع مريح (تأخير ~ 80-100 مللي ثانية)

• العقد المعاد هيكلتها لمزيد من الخيارات

• تخطي الإطارات تلقائيًا دون اكتشاف أي وجه

• لقد نسيت العديد من الأشياء الأخرى في هذه المرحلة، لقد كان كثيرًا

• دعم أفضل لنظام Mac على MPS (شكرًا @Grant-CP

تحديث لهذا التحديث:

• لقد قمت بتحويل نموذج onnx الشهير إلى نموذج الشعلة، وهو أمر لم أفعله من قبل ولم أتمكن من فعل أي شيء سوى إنشاء ملف .pth، لذا عليك أن تثق بي في هذا الأمر. يسمح هذا بتشغيل كل هذا دون الحاجة إلى وقت تشغيل onnxruntime، فهو يعمل على وحدة معالجة الرسومات (GPU) وهو بنفس السرعة تقريبًا. إنه متوفر على عقدة MediaPipe Cropper كخيار: عند تحديده، يتم تنزيله تلقائيًا من هنا: https://huggingface.co/Kijai/LivePortrait_safetensors/blob/main/landmark_model.pth

أمثلة:

الوقت الحقيقي مع تغذية كاميرا الويب:

Liveportrait_realtime.mp4

صورة2فيد:

Liveportrait_img2vid.mp4

فيد2فيد:

Liveportrait_vid2vid.mp4

لقد قمت بتحويل جميع ملفات المخلل إلى أدوات الأمان: https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main

يتم الانتقال إلى هنا (ويتم تنزيلها تلقائيًا في حالة عدم وجود المجلد) ComfyUI/models/liveportrait

أجهزة كشف الوجه

يمكنك إما استخدام Insightface الافتراضي الأصلي، أو MediaPipe من Google.

الفرق الأكبر هو الترخيص: Insightface مخصص للاستخدام غير التجاري فقط. يعد MediaPipe أسوأ قليلاً في الكشف، ولا يمكن تشغيله على وحدة معالجة الرسومات في Windows، على الرغم من أنه أسرع بكثير على وحدة المعالجة المركزية مقارنة بـ Insightface

لا يتم تثبيت Insightface تلقائيًا، إذا كنت ترغب في استخدامه، فاتبع الإرشادات التالية: إذا كانت لديك بيئة ترجمة عاملة، فقد يكون تثبيته سهلاً كما يلي:

pip install insightface

أو للنسخة المحمولة، في المجلد ComfyUI_windows_portable:

python_embeded/python.exe -m pip install insightface

إذا فشل هذا (وهذا محتمل)، فيمكنك التحقق من جزء استكشاف الأخطاء وإصلاحها في عقدة المفاعل للحصول على بديل:

https://github.com/Gourieff/comfyui-reactor-node

للحصول على نموذج Insightface، استخرج هذا إلى ComfyUI/models/insightface/buffalo_l :

https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip

يرجى ملاحظة أن ترخيص Insightface غير تجاري بطبيعته.