Implementasi referensi ComfyUI untuk model IPAdapter.
IPAdapter adalah model yang sangat kuat untuk pengondisian gambar-ke-gambar. Subjek atau bahkan hanya gaya gambar referensi dapat dengan mudah ditransfer ke satu generasi. Anggap saja sebagai lora 1 gambar.
Sponsor Github | Paypal
Jika Anda menyukai karya saya dan ingin melihat pembaruan dan fitur baru, harap pertimbangkan untuk mensponsori proyek saya.
IPAdapter Plus UI yang Nyaman
ID Instan UI Nyaman (Asli)
Esensi UI yang Nyaman
Analisis Wajah UI yang Nyaman
Belum lagi dokumentasi dan video tutorialnya. Cek video ComfyUI Advanced Understanding saya di YouTube misalnya part 1 dan part 2
Satu-satunya cara untuk menjaga kode tetap terbuka dan gratis adalah dengan mensponsori pengembangannya. Semakin banyak sponsor, semakin banyak waktu yang bisa saya dedikasikan untuk proyek open source saya.
Silakan pertimbangkan Sponsor Github atau donasi PayPal (Matteo "matt3o" Spinelli). Untuk sponsor sebesar $50+, beri tahu saya jika Anda ingin disebutkan dalam file readme ini, Anda dapat menemukan saya di Discord atau matt3o? gmail.com .
13/09/2024 : Memperbaiki bug buruk pada patching blok tengah yang kami lakukan sejak awal. Sayangnya gambar yang dihasilkan tidak akan sama persis dengan sebelumnya. Pokoknya blok tengah tidak berdampak besar, jadi seharusnya tidak menjadi masalah besar. Hal ini tidak memengaruhi transfer Gaya atau Komposisi, hanya memengaruhi generasi linier. Saya biasanya tidak melaporkan perbaikan bug kecil tapi yang ini mungkin menyebabkan hasil yang berbeda jadi saya pikir ini layak untuk disebutkan.
2024/08/02 : Dukungan untuk Kolors FaceIDv2. Silakan periksa contoh alur kerja untuk praktik terbaik.
26/07/2024 : Menambahkan dukungan untuk kumpulan gambar dan animasi ke ClipVision Enhancer.
2024/07/18 : Dukungan untuk Warna.
2024/07/17 : Menambahkan node ClipVision Enhancer eksperimental. Ini entah bagaimana terinspirasi oleh makalah Scaling on Scales tetapi implementasinya sedikit berbeda. IPAdapterClipVisionEnhancer baru mencoba menangkap detail kecil dengan menyusun penyematan (bukan gambar dalam ruang piksel), hasilnya adalah penyematan visual beresolusi sedikit lebih tinggi tanpa mengorbankan kinerja.
2024/07/11 : Menambahkan transfer komposisi (tata letak) eksperimental yang presisi. Itu tidak sebaik gaya. embeds_scaling memiliki dampak yang sangat besar. Mulailah dengan kekuatan 0,8 dan tingkatkan 0,3 di SDXL dan 0,6 tingkatkan 0,35 di SD1.5.
28/06/2024 : Menambahkan node IPAdapter Precise Style Transfer . Tingkatkan opsi style_boost untuk menurunkan pendarahan lapisan komposisi. Penting: berfungsi lebih baik di SDXL, mulai dengan style_boost 2; untuk SD1.5 coba tambah bobotnya sedikit di atas 1,0 dan atur style_boost ke nilai antara -1 dan +1, dimulai dengan 0.
22/06/2024 : Menambahkan style transfer precise , menawarkan lebih sedikit pendarahan pada penyematan antara lapisan gaya dan komposisi. Kadang-kadang lebih baik daripada transfer gaya standar terutama jika gambar referensi sangat berbeda dari gambar yang dihasilkan. Bekerja lebih baik di SDXL daripada SD1.5.
21/05/2024 : Peningkatan alokasi memori saat encode_batch_size . Sebagian besar berguna untuk animasi yang sangat panjang.
02/05/2024 : Tambahkan encode_batch_size ke node batch Lanjutan. Hal ini berguna untuk animasi dengan banyak frame untuk mengurangi penggunaan VRAM selama pengkodean gambar. Harap diperhatikan bahwa hasil akan sedikit berbeda berdasarkan ukuran batch.
27/04/2024 : Memfaktorkan ulang IPAdapterWeights yang sebagian besar berguna untuk animasi AnimateDiff.
21/04/2024 : Menambahkan node Pengkondisian Regional untuk menyederhanakan penyembunyian perhatian dan pengkondisian teks yang disamarkan.
2024/04/16 : Menambahkan dukungan untuk model potret SDXL yang tidak normal (tautan dibawah). Ini sangat kuat dan cenderung mengabaikan pengondisian teks. Turunkan CFG menjadi 3-4 atau gunakan node RescaleCFG.
(Pembaruan lama dihapus agar mudah dibaca)
Direktori contoh memiliki banyak alur kerja yang mencakup semua fungsi IPAdapter.
Fitur IPAdapter baru
Gaya dan Komposisi Adaptor IP
Video berikut adalah tentang IPAdapter versi sebelumnya, namun tetap berisi informasi berharga.
Video penggunaan dasar,? Video fitur lanjutan, ? Video Masking Perhatian, ? Video Fitur Animasi
Unduh atau git clone repositori ini di dalam direktori ComfyUI/custom_nodes/ atau gunakan Manajer. IPAdapter selalu membutuhkan ComfyUI versi terbaru. Jika ada yang tidak berhasil, pastikan untuk memutakhirkan. Berhati-hatilah karena pembaruan otomatis pengelola terkadang tidak berfungsi dan Anda mungkin perlu memutakhirkan secara manual.
Sekarang ada Unified Model Loader , agar dapat berfungsi, Anda perlu memberi nama file persis seperti yang dijelaskan di bawah. Pemuat lama dapat digunakan dengan nama file apa pun tetapi Anda harus memilihnya secara manual. Model dapat ditempatkan ke dalam subdirektori.
Ingat Anda juga dapat menggunakan lokasi khusus apa pun yang mengatur entri ipadapter di file extra_model_paths.yaml .
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors, unduh dan ganti nama
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors, unduh dan ganti nama
clip-vit-large-patch14-336.bin, unduh dan ganti nama hanya untuk model Kolors
/ComfyUI/models/ipadapter , buatlah jika tidak ada
ip-adapter_sd15.safetensors, Model dasar, kekuatan rata-rata
ip-adapter_sd15_light_v11.bin, Model dampak ringan
ip-adapter-plus_sd15.safetensors, Model plus, sangat kuat
ip-adapter-plus-face_sd15.safetensors, Model wajah, potret
ip-adapter-full-face_sd15.safetensors, Model wajah lebih kuat, belum tentu lebih baik
ip-adapter_sd15_vit-G.safetensors, Model dasar, memerlukan encoder visi klip bigG
ip-adapter_sdxl_vit-h.safetensors, model SDXL
ip-adapter-plus_sdxl_vit-h.safetensors, model SDXL plus
ip-adapter-plus-face_sdxl_vit-h.safetensors, model wajah SDXL
ip-adapter_sdxl.safetensors, model vit-G SDXL, memerlukan encoder visi klip bigG
Ip-adapter_sd15_light.safetensors tidak digunakan lagi , model dampak ringan v1.0
Model FaceID memerlukan insightface , Anda perlu menginstalnya di lingkungan ComfyUI Anda. Periksa masalah ini untuk mendapatkan bantuan. Ingatlah bahwa sebagian besar model FaceID juga memerlukan LoRA.
Agar Unified Loader berfungsi, file harus diberi nama persis seperti yang ditunjukkan dalam daftar di bawah.
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin, model FaceID dasar
ip-adapter-faceid-plusv2_sd15.bin, FaceID plus v2
ip-adapter-faceid-portrait-v11_sd15.bin, transfer gaya prompt teks untuk potret
ip-adapter-faceid_sdxl.bin, FaceID dasar SDXL
ip-adaptor-faceid-plusv2_sdxl.bin, SDXL plus v2
ip-adapter-faceid-portrait_sdxl.bin, transfer gaya prompt teks SDXL
ip-adapter-faceid-portrait_sdxl_unnorm.bin, transfer gaya SDXL yang sangat kuat saja
Ip-adapter-faceid-plus_sd15.bin, FaceID plus v1 tidak digunakan lagi
Ip-adapter-faceid-portrait_sd15.bin, v1 dari model potret tidak digunakan lagi
Sebagian besar model FaceID memerlukan LoRA. Jika Anda menggunakan IPAdapter Unified Loader FaceID itu akan dimuat secara otomatis jika Anda mengikuti konvensi penamaan. Jika tidak, Anda harus memuatnya secara manual, hati-hati setiap model FaceID harus dipasangkan dengan LoRA spesifiknya sendiri.
/ComfyUI/models/loras
ip-adapter-faceid_sd15_lora.safetensors
ip-adapter-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid_sdxl_lora.safetensors, SDXL FaceID LoRA
ip-adapter-faceid-plusv2_sdxl_lora.safetensors, SDXL plus v2 LoRA
Ip-adapter-faceid-plus_sd15_lora.safetensors tidak lagi digunakan , LoRA untuk model FaceID plus v1 yang tidak digunakan lagi
Semua model dapat ditemukan di huggingface.
Komunitas telah membuat beberapa model IPAdapter yang menarik.
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors, komposisi umum mengabaikan gaya dan konten, selengkapnya di sini
ip_plus_composition_sdxl.safetensors, versi SDXL
Kolors-IP-Adapter-Plus.bin, IPAdapter Plus untuk model Kolors
Kolors-IP-Adapter-FaceID-Plus.bin, IPAdapter FaceIDv2 untuk model Kolors. Catatan: Kolors dilatih pada model InsightFace antelopev2 , Anda perlu mengunduhnya secara manual dan menempatkannya di dalam direktori models/inisghtface .
jika Anda mengetahui model lain, harap beri tahu saya dan saya akan menambahkannya ke pemuat terpadu.
Ada banyak alur kerja yang disertakan dalam direktori contoh. Silakan periksa sebelum meminta dukungan.
Biasanya merupakan ide bagus untuk menurunkan weight hingga setidaknya 0.8 dan menambah jumlah langkah. Untuk meningkatkan kepatuhan terhadap perintah, Anda dapat mencoba mengubah jenis bobot di node IPAdapter Advanced .
Saya (perlahan-lahan) mendokumentasikan semua node. Silakan periksa referensi Node.
Silakan periksa pemecahan masalah sebelum memposting masalah baru. Ingatlah juga untuk memeriksa edisi tertutup sebelumnya.
