ComfyUI All in One FluxDev Workflow

Alur Kerja FluxDev-UI-All-in-One yang Nyaman

Diperbarui v0.2 : memperbaiki node yang salah yang terhubung ke node florence2

Pembaruan 11-08-2024 : Setelah sedikit mengutak-atik, saya menemukan cara untuk mereproduksi gambar berkualitas tinggi dengan controlnet seperti yang ditunjukkan di halaman Github/HF, saya juga menemukan bahwa 2 metode pengambilan sampel dapat digabungkan dan diatur ulang menjadi pendekatan yang lebih sederhana dan efisien, saya akan segera memperbarui v0.3 untuk menyertakan semua perubahan ini.

Ringkasan

Saya telah membuat alur kerja FluxDev All-in-One di ComfyUI yang menggabungkan berbagai teknik untuk menghasilkan gambar dengan model FluxDev, termasuk img-to-img dan text-to-img. Alur kerja ini dapat menggunakan LoRA, ControlNets, mengaktifkan perintah negatif dengan Ksampler, ambang batas dinamis, inpainting, dan banyak lagi. Harap dicatat bahwa ini bukan cara yang "benar" dalam menggunakan teknik ini, melainkan interpretasi pribadi saya berdasarkan informasi yang tersedia.

Banyak Memanfaatkan Node USE Everywhere

Alur kerja ini sangat bergantung pada node USE Everywhere untuk menjadikannya sebersih dan seefisien mungkin untuk kebutuhan generasi saya sehari-hari. Saya membagikan alur kerja ini kepada komunitas untuk mengumpulkan wawasan dan saran untuk perbaikan. Jangan ragu untuk bereksperimen sendiri.

Fitur Utama

• Beralih antara pembuatan gambar-ke-gambar dan teks-ke-gambar
• Untuk pembuatan teks-ke-gambar, pilih dari resolusi SDXL yang telah ditentukan sebelumnya atau gunakan node Kalkulator Resolusi Piksel untuk membuat resolusi berdasarkan rasio aspek dan megapiksel melalui sakelar
• Memuat model ControlNet dan LoRA
• Pengambilan sampel dengan pengambilan sampel model Flux dan node Sampler Custom Advance, berdasarkan alur kerja demo resmi asli
• Pengambilan sampel dengan ambang batas dinamis dan node Ksampler Advance, memungkinkan pengondisian positif dan negatif dengan FluxGuidance
• Lukisan sederhana
• Perbaikan resolusi tinggi seperti peningkatan berulang dengan Tiled Diffusion

Menggunakan Alur Kerja ini

1. Diperbarui : Tidak diperlukan instalasi khusus manual, Anda sekarang dapat menemukan node di pengelola, cukup ikuti langkah nomor 3. instal node khusus Kalkulator Resolusi Piksel melalui URL git di ComfyUI Manager (saya belum mengirimkan penarikan) url: https://github.com/Ling-APE/ComfyUI-PixelResolutionCalculator
2. Unduh dan impor file JSON ke ComfyUI
3. Instal node yang hilang melalui manajer ComfyUI
4. Konfigurasikan sakelar
5. Tambahkan petunjuknya (atau gunakan keterangan mendetail dari vision LLM)
6. Unggah gambar ControlNet (opsional)
7. Lewati/lepaskan node yang Anda perlukan
8. Menghasilkan!

Persyaratan

• Node khusus Kalkulator Resolusi Piksel Saya (opsional)
• Bobot asli: flux1-dev.safetensors
• Versi FP8 (untuk sistem VRAM <24GB): flux1-dev-fp8.safetensors
• Pembuat enkode teks (tempatkan di ComfyUI/models/clip ): flux_text_encoders
• VAE (tempatkan ae.sft di ComfyUI/models/vae ): ae.safetensors
• Untuk penggunaan RAM yang lebih rendah, unduh encoder FP8 T5XXL (dengan beberapa penurunan kualitas)
• xlabs-ai flux-controlnet-canny Weight controlnet.safetensors (tempatkan di bawah ComfyUI/models/controlnet , buka folder jika diperlukan)
• flux_RealismLora_converted flux_realism_lora.safetensors (tempatkan di bawah ComfyUI/models/loras , buka folder jika diperlukan)
• Ollama dan llava:13b (opsional)
• Model Microsoft Florence 2 (opsional, tetapi harus diunduh secara otomatis saat pertama kali Anda menjalankannya)

Pengaturan VRAM Rendah:

Luncurkan ComfyUI dengan argumen "--lowvram" (tambahkan ke file .bat Anda) untuk memindahkan encoder teks ke CPU

Bug yang diketahui

• jika Anda menggunakan Ctrl + Z untuk membatalkan perubahan, beberapa node di mana saja akan memutuskan tautannya sendiri, temukan node yang kehilangan tautan, cabut dan pasang kembali input, semuanya akan berfungsi kembali.

ControlNet dan LoRA

Pada saat pembuatan alur kerja ini, ada dua ControlNet yang tersedia dan beberapa LoRA, termasuk:

• Canny ControlNet dan Realisme LoRA dari XLabs-AI
• Jaringan kontrol cerdik dari InstantX
• LoRA estetika (anime) untuk FLUX oleh advokat
• Saya juga menemukan halaman model netunion kontrol di bawah halaman wajah pelukan instantX, jadi mungkin kita akan memiliki model serikat dalam waktu dekat.

Saya hanya menguji LoRA Canny dan Realisme dari XLabs-AI, dan berikut beberapa kesimpulan utamanya:

• Jika Anda menemukan pesan kesalahan yang mengatakan tidak ada kunci, Anda harus membuka direktori ComfyUI dan membuka terminal untuk memasukkan kode: git checkout xlabs_flux_controlnet
• Dari pengujian saya, model tersebut tampaknya dilatih pada rasio aspek persegi dan pada skala panduan 4, juga disebutkan di sini
• Saya hanya bisa membuatnya berfungsi dengan sedikit dorongan, seperti demo resmi dari github. Perintah yang rumit tidak akan berfungsi. Meskipun saya gagal mereproduksi kualitas yang sama persis dari demo, mungkin saya melakukan kesalahan.
• Sedangkan untuk LoRA, Anda perlu mengunduh LoRA yang telah dikonversi oleh comfortanonymous agar dapat berfungsi
• XLabs controlnet berada di bawah Lisensi Non-Komersial FLUX.1 [dev] dan untuk intantX saya terlalu malas untuk mencari info tentang if (Harusnya sama kan?)
• Alur kerja LoRA berdasarkan Alur Kerja Nyaman FLUX.1 Sederhana+Lanjutan oleh markury

Ambang Batas Dinamis dan Anjuran Negatif

Alur kerja Ksampler dengan ambang batas dinamis didasarkan pada postingan blog resmi ComfyUI. Dan saya mengutip:

Catatan untuk kedua model Anda dapat menggunakan SamplerCustomAdvanced dengan BasicGuider , atau jika Anda menggunakan KSampler , setel CFG ke 1 . Anda dapat menggunakan FluxGuidance baru pada model Dev untuk mengontrol nilai seperti CFG yang disuling. (Disarankan menyetelnya ke 2 untuk realisme atau kontrol gaya yang lebih baik) Model ini dilatih untuk bekerja tanpa CFG nyata. Namun bukan berarti Anda tidak akan pernah bisa menggunakan CFG - faktanya, komunitas dengan cepat memanfaatkan ComfyUI sebagai platform eksperimen untuk menguji berbagai macam trik guna mendapatkan hasil maksimal dari model-model baru. (Seperti menggunakan node khusus Dynamic Thresholding, atau menggunakan node bawaan FluxGuidance baru untuk mengimbangi, dan mengaktifkan CFG dan perintah negatif. Ada juga ModelSamplingFlux bawaan untuk mengontrol pergeseran sigma Flux, meskipun manfaatnya lebih terbatas.)

Ingatlah bahwa ini adalah interpretasi saya sendiri dan jangan ragu untuk melakukan perubahan dan eksperimen apa pun.

Demo 0 shot non cherry pick dengan metode pengambilan sampel ini:

Node Kalkulator Resolusi Piksel

Anda dapat menemukan reponya di sini.

Kalkulator Resolusi Piksel adalah node khusus yang saya kembangkan dengan bantuan LLama3.1 kemarin (Ya, saya tidak memiliki keterampilan pemrograman, mempelajarinya dari awal). Ini hanyalah node yang sangat sederhana yang menghasilkan resolusi piksel "ramah laten" terdekat dari megapiksel dan rasio aspek pilihan Anda. Saya mengambil inspirasi dari node ImageScaleToTotalPixels dari alur kerja demo Flux asli, karena semua orang sepertinya berbicara tentang resolusi piksel, bukan jumlah piksel lebar dan tinggi seperti di SDXL. Ada juga node untuk mengubah input sampel laten menjadi jumlah piksel lebar dan tinggi.

Peningkatan dengan Difusi Ubin

Alur kerja peningkatan juga disertakan. Ia menggunakan simpul Iteratif Kelas Atas (Gambar) dari paket Dampak dan difusi ubin untuk membuat perbaikan resolusi tinggi seperti peningkatan skala dan perincian grup simpul dengan model kelas atas pilihan Anda. Anda juga dapat melakukan denoise, CFG, dan penjadwalan langkah dengan PK hook.

Bandingkan gambar demo di sini.

melukis

Karena belum ada model inpainting yang dilatih untuk Flux, hanya bentuk inpainting paling sederhana yang dapat dicapai di sini. Anda juga dapat mencoba menggabungkan ControlNets, namun perhatikan resolusi berbasis persegi dan skala panduan (4) .

Ollama dan Florence2

Hanya beberapa node sederhana untuk menjalankan ollama dan Florence2 untuk menggunakan vision LLm untuk teks detail dan untuk mendapatkan wawasan cepat, saya menggunakan LLaVa 13B dan Florence2 besar dalam demo, Anda memerlukan node Ollama , Ollama ComfyUI dan Florence2 ComfyUI, lihat tautannya untuk penggunaan rinci dan panduan instalasi.

Panduan terperinci

Panduan lebih rinci akan ditambahkan jika orang merasa kesulitan menggunakannya....

---

BS

Flux adalah model yang sangat fleksibel, dan karena ini adalah versi pertama, ini sangat mengesankan. Dalam waktu dua minggu setelah dirilis, ControlNet dan LoRA sudah tersedia, yang menunjukkan betapa komunitas sangat menyukai model ini. Saya sekarang menantikan beberapa model lukisan. Dan yang terpenting, Matteo, tolong rilis adaptor iPad untuk Flux.... tolong, satu puzzle yang hilang dan saya selesaikan....

Selamat Menghasilkan!

PS Saya menyertakan prompt yang saya gunakan dengan LLama3.1 untuk membantu saya melakukan pemeriksaan ejaan dan pemeriksaan tata bahasa untuk repo ini tanpa alasan:

Bertindak sebagai penulis profesional dengan keahlian menulis yang kuat dan pemahaman mendalam tentang menulis secara umum. Membantu pengguna dalam menulis ulang, memformat ulang, dan melakukan pemeriksaan tata bahasa dan ejaan berdasarkan permintaan. Tugas Anda harus mencakup:

1. Menulis ulang dokumen untuk memastikan tata bahasa dan ejaan yang benar.
2. Menyusun ulang kalimat agar lebih lancar dan mudah dipahami.
3. Memformat konten menggunakan Markdown untuk meningkatkan keterbacaan.
4. Mempertahankan konten asli : Jangan menghapus, mengubah, atau menambahkan informasi apa pun yang tidak perlu ke dokumen.
5. Mempertahankan format Markdown yang ada : Jika dokumen sudah menggunakan Markdown, pertahankan formatnya tetap utuh. Anda dapat memformat ulang jika perlu, tetapi hindari mempengaruhi struktur aslinya.
6. Mempertahankan istilah teknis : Hindari menulis ulang istilah spesifik yang berkaitan dengan topik, seperti "Ksampler" atau "LoRA", kecuali Anda tidak yakin dengan maknanya. Jika demikian, mintalah konfirmasi kepada pengguna.
7. Mempertahankan nada asli : Jaga konsistensi nada dokumen, baik formal maupun informal. Pastikan lelucon dan unsur humor tetap utuh.

Selain itu, harap:

1. Gunakan pemikiran rantai pemikiran : Bagikan proses pemikiran Anda saat menulis ulang dokumen, jelaskan alasan di balik perubahan tersebut.
2. Daftar perubahan yang dilakukan : Tentukan perubahan yang Anda buat pada dokumen, sehingga pengguna dapat melacak revisinya.
3. Berikan saran : Jika ada beberapa cara untuk menulis ulang suatu bagian, tawarkan saran dan biarkan pengguna memutuskan pendekatan mana yang mereka sukai.

Apakah Anda memahami persyaratan ini?