PuLID-Flux untuk ComfyUI

Implementasi PuLID-Flux ComfyUI (versi Alpha)

Pembaruan Versi

V0.1.0: Node berfungsi dengan dukungan bobot, start_at, end_at (attn_mask tidak berfungsi)

Catatan

Proyek ini sangat terinspirasi oleh cubiq/PuLID_ComfyUI. Ini hanyalah prototipe yang menggunakan beberapa model hacks yang mudah digunakan untuk bagian pembuat enkode. Saya ingin menguji kualitas model sebelum menerapkannya kembali secara lebih formal. Untuk hasil yang lebih baik, saya merekomendasikan Flux1-dev versi model GGUF 16bit atau 8bit GGUF (8e5m2 mengembalikan latar belakang buram). Di direktori examples Anda akan menemukan beberapa alur kerja dasar.

Model Fluks yang didukung:

32bit/16bit (~22GB VRAM): model, pembuat enkode

8bit gguf (~12GB VRAM): model, pembuat enkode

8 bit FP8 e5m2 (~12GB VRAM): model, pembuat enkode

8 bit FP8 e4m3fn (~12GB VRAM): model, pembuat enkode

Klip dan VAE (untuk semua model): klip, vae

Untuk model GGUF Anda perlu menginstal ComfyUI-GGUF

Instalasi

Instal repo ini ke ComfyUI/custom_nodes

git clone https://github.com/balazik/ComfyUI-PuLID-Flux.git

Instal semua paket yang tercantum dalam file requirements.txt ke dalam lingkungan Python tempat Anda menjalankan ComfyUI. Saya memilih untuk tidak menggunakan skrip instalasi otomatis, karena saya tidak suka jika skrip menginstal perangkat lunak tanpa sepengetahuan saya. ?
Anda memerlukan salah satu model Flux.1-dev yang disebutkan. Unduh model ke ComfyUI/models/unet , klip dan encoder ke ComfyUI/models/clip , VAE ke ComfyUI/models/vae .
Model terlatih PuLID Flux masuk ComfyUI/models/pulid/ .
EVA CLIP adalah EVA02-CLIP-L-14-336, harus diunduh secara otomatis (akan ditempatkan di direktori pelukan). Jika karena alasan tertentu pengunduhan otomatis gagal (dan Anda mendapatkan face_analisis.py, init menegaskan 'deteksi' dalam pengecualian self.models ), unduh model EVA-CLIP ini secara manual, masukkan file ke ComfyUI/models/clip Anda dan mulai ulang ComfyUI .
Ketergantungan facexlib perlu diinstal, model diunduh saat pertama kali digunakan.
Terakhir, Anda memerlukan InsightFace dengan AntelopeV2, model yang tidak di-zip harus ditempatkan di ComfyUI/models/insightface/models/antelopev2 .

Masalah yang diketahui

ApplyPulidFlux tidak berfungsi pada HW dengan komputasi CUDA
Ketika node ApplyPulidFlux terputus setelah dijalankan pertama kali, model Flux masih dipengaruhi oleh node tersebut.
ApplyPulidFlux attn_mask tidak berfungsi (sedang berlangsung).