ComfyUI LivePortraitKJ

Node UI yang nyaman untuk menggunakan LivePortrait

Pembaruan 2

Menambahkan detektor wajah alternatif lain: https://github.com/1adrianb/face-alignment

Karena ini dapat menggunakan model kamera belakang blazeface (atau SFD), ini jauh lebih baik untuk wajah yang lebih kecil daripada MediaPipe, yang hanya dapat menggunakan model pendek blazeface. Pemanasan pada putaran pertama saat menggunakan ini bisa memakan waktu lama, tetapi putaran berikutnya berlangsung cepat.

Contoh deteksi menggunakan blazeface_back_camera:

AnimateDiff_00004.34.mp4

Memperbarui

Pengerjaan ulang hampir seluruh hal yang telah dikembangkan sekarang digabungkan menjadi utama, ini berarti alur kerja lama tidak akan berfungsi, tetapi semuanya harusnya lebih cepat dan banyak fitur baru. Untuk tujuan warisan, cabang utama yang lama dipindahkan ke cabang warisan

Perubahan

• Menambahkan MediaPipe sebagai alternatif dari Insightface, semuanya sekarang harus tercakup dalam lisensi MIT dan Apache-2.0 saat menggunakannya.

• Vid2vid yang tepat termasuk algoritma penghalusan (terima kasih @melMass)

• Peningkatan kecepatan dan efisiensi, memungkinkan tampilan hampir real-time bahkan dalam kondisi Nyaman (penundaan ~80-100ms)

• Node yang direstrukturisasi untuk opsi lebih banyak

• Melewati bingkai secara otomatis tanpa wajah terdeteksi

• Banyak hal lain yang saya lupakan saat ini, sudah banyak sekali

• Dukungan Mac yang lebih baik di MPS (terima kasih @Grant-CP

perbarui pembaruan ini:

• mengonversi model landmark runner onnx menjadi model obor, bukan sesuatu yang pernah saya lakukan sebelumnya dan saya tidak berhasil melakukan apa pun selain menjadikannya file .pth, jadi Anda hanya perlu memercayai saya. Hal ini memungkinkan menjalankan semua ini bahkan tanpa onnxruntime, ini berjalan pada GPU dan sama cepatnya. Ini tersedia di node cropper MediaPipe sebagai opsi: Jika dipilih, maka secara otomatis diunduh dari sini: https://huggingface.co/Kijai/LivePortrait_safetensors/blob/main/landmark_model.pth

Contoh:

Waktu nyata dengan umpan webcam:

potret langsung_realtime.mp4

Gambar2vid:

potret langsung_img2vid.mp4

Vid2Vid:

potret langsung_vid2vid.mp4

Saya telah mengonversi semua file acar menjadi safetensors: https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main

Mereka ada di sini (dan diunduh secara otomatis jika foldernya tidak ada) ComfyUI/models/liveportrait

Detektor wajah

Anda dapat menggunakan Insightface default asli, atau MediaPipe Google.

Perbedaan terbesarnya adalah lisensinya: Insightface hanya untuk penggunaan NON-KOMERSIAL. MediaPipe sedikit lebih buruk dalam pendeteksian, dan tidak dapat berjalan pada GPU di Windows, meskipun CPU-nya jauh lebih cepat dibandingkan dengan Insightface

Insightface tidak diinstal secara otomatis, jika Anda ingin menggunakannya ikuti petunjuk berikut: Jika Anda memiliki lingkungan kompilasi yang berfungsi, menginstalnya semudah:

pip install insightface

atau untuk versi portable di folder ComfyUI_windows_portable :

python_embeded/python.exe -m pip install insightface

Jika ini gagal (dan kemungkinan besar terjadi), Anda dapat memeriksa bagian Pemecahan Masalah pada node reaktor untuk mengetahui alternatifnya:

https://github.com/Gourieff/comfyui-reactor-node

Untuk model wawasan, ekstrak ini ke ComfyUI/models/insightface/buffalo_l :

https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip

Harap dicatat bahwa lisensi Insightface bersifat non-komersial.