Studio DiffSynth

Studio DiffSynth

Dokumen: https://diffsynth-studio.readthedocs.io/zh-cn/latest/index.html

Perkenalan

DiffSynth Studio adalah mesin Difusi. Kami telah merestrukturisasi arsitektur termasuk Text Encoder, UNet, VAE, antara lain, menjaga kompatibilitas dengan model dari komunitas sumber terbuka sekaligus meningkatkan kinerja komputasi. Kami menyediakan banyak fitur menarik. Nikmati keajaiban model Difusi!

Hingga saat ini, DiffSynth Studio telah mendukung model berikut:

• CogVideoX
• ALIRAN
• ExVideo
• warna
• Difusi Stabil 3
• Difusi Video Stabil
• Hunyuan-DiT
• PENUH
• ESRGAN
• Adaptor Ip
• AnimateDiff
• KontrolNet
• Difusi Stabil XL
• Difusi Stabil

Berita

• 25 Oktober 2024 Kami menyediakan dukungan FLUX ControlNet yang ekstensif. Proyek ini mendukung banyak model ControlNet berbeda yang dapat digabungkan secara bebas, meskipun strukturnya berbeda. Selain itu, model ControlNet kompatibel dengan penyempurnaan resolusi tinggi dan teknik kontrol partisi, memungkinkan pembuatan gambar terkontrol yang sangat kuat. Lihat ./examples/ControlNet/ .

• 8 Oktober 2024. Kami merilis LoRA yang diperluas berdasarkan CogVideoX-5B dan ExVideo. Anda dapat mengunduh model ini dari ModelScope atau HuggingFace.

• 22 Agustus 2024. CogVideoX-5B didukung dalam proyek ini. Lihat di sini. Beberapa fitur menarik yang kami sediakan untuk model text-to-video ini antara lain

  • Teks ke video
  • Pengeditan video
  • Peningkatan diri
  • Interpolasi video

• 22 Agustus 2024. Kami telah menerapkan pelukis menarik yang mendukung semua model teks-ke-gambar. Sekarang Anda dapat membuat gambar menakjubkan menggunakan pelukis, dengan bantuan AI!

  • Gunakan di WebUI kami.

• 21 Agustus 2024. FLUX didukung di DiffSynth-Studio.

  • Aktifkan CFG dan perbaikan resolusi tinggi untuk meningkatkan kualitas visual. Lihat di sini
  • LoRA, ControlNet, dan model tambahan akan segera tersedia.

• 21 Juni 2024. ??? Kami mengusulkan ExVideo, teknik pasca-penyetelan yang bertujuan untuk meningkatkan kemampuan model pembuatan video. Kami telah memperluas Difusi Video Stabil untuk mencapai pembuatan video panjang hingga 128 frame.

  • Halaman Proyek
  • Kode sumber dirilis di repo ini. Lihat examples/ExVideo .
  • Model dirilis di HuggingFace dan ModelScope.
  • Laporan teknis dirilis di arXiv.
  • Anda dapat mencoba ExVideo di Demo ini!

• 13 Juni 2024. DiffSynth Studio ditransfer ke ModelScope. Para pengembang telah beralih dari "saya" ke "kita". Tentu saja saya akan tetap ikut serta dalam pengembangan dan pemeliharaan.

• 29 Jan 2024. Kami mengusulkan Diffutoon, solusi fantastis untuk bayangan toon.

  • Halaman Proyek
  • Kode sumber dirilis dalam proyek ini.
  • Laporan teknis (IJCAI 2024) dirilis di arXiv.

• 8 Desember 2023. Kami memutuskan untuk mengembangkan Proyek baru, yang bertujuan untuk mengeluarkan potensi model difusi, khususnya dalam sintesis video. Pengembangan proyek ini dimulai.

• 15 November 2023. Kami mengusulkan FastBlend, algoritme penghilangan tampilan video yang canggih.

  • Ekstensi sd-webui dirilis di GitHub.
  • Video demo ditampilkan di Bilibili, termasuk tiga tugas.
    • Video berkedip-kedip
    • Interpolasi video
    • Render video berbasis gambar
  • Laporan teknis dirilis di arXiv.
  • Ekstensi ComfyUI tidak resmi yang dikembangkan oleh pengguna lain dirilis di GitHub.

• 1 Okt 2023. Kami merilis versi awal proyek ini yaitu FastSDXL. Percobaan untuk membangun mesin difusi.

  • Kode sumber dirilis di GitHub.
  • FastSDXL menyertakan penjadwal OLSS yang dapat dilatih untuk peningkatan efisiensi.
    • Repo asli OLSS ada di sini.
    • Laporan teknis (CIKM 2023) dirilis di arXiv.
    • Video demo ditampilkan di Bilibili.
    • Karena OLSS memerlukan pelatihan tambahan, kami tidak menerapkannya dalam proyek ini.

• 29 Agustus 2023. Kami mengusulkan DiffSynth, kerangka sintesis video.

  • Halaman Proyek.
  • Kode sumber dirilis di EasyNLP.
  • Laporan teknis (ECML PKDD 2024) dirilis di arXiv.

Instalasi

Instal dari kode sumber (disarankan):

 git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .

Atau instal dari pypi:

 pip install diffsynth

Penggunaan (dalam kode Python)

Contoh Python ada dalam examples . Kami memberikan gambarannya di sini.

Unduh Model

Unduh model yang telah ditentukan sebelumnya. ID model dapat ditemukan di file konfigurasi.

 from diffsynth import download_models

download_models ([ "FLUX.1-dev" , "Kolors" ])

Unduh model Anda sendiri.

 from diffsynth . models . downloader import download_from_huggingface , download_from_modelscope

# From Modelscope (recommended)
download_from_modelscope ( "Kwai-Kolors/Kolors" , "vae/diffusion_pytorch_model.fp16.bin" , "models/kolors/Kolors/vae" )
# From Huggingface
download_from_huggingface ( "Kwai-Kolors/Kolors" , "vae/diffusion_pytorch_model.fp16.safetensors" , "models/kolors/Kolors/vae" )

Sintesis Video

Teks-ke-video menggunakan CogVideoX-5B

CogVideoX-5B dirilis oleh ZhiPu. Kami menyediakan saluran yang ditingkatkan, mendukung teks-ke-video, pengeditan video, peningkatan skala mandiri, dan interpolasi video. examples/video_synthesis

Video di sebelah kiri dibuat menggunakan pipeline text-to-video asli, sedangkan video di sebelah kanan adalah hasil setelah pengeditan dan interpolasi bingkai.

roda gigi.mp4

Sintesis Video Panjang

Kami melatih model sintesis video yang diperluas, yang dapat menghasilkan 128 frame. examples/ExVideo

github_title.mp4

demo.mp4

Bayangan Toon

Render video realistis dalam gaya rata dan aktifkan fitur pengeditan video. examples/Diffutoon

Diffutoon.mp4

Diffutoon_edit.mp4

Stylisasi Video

Stylisasi video tanpa model video. examples/diffsynth

musim dingin_stone.mp4

Sintesis Gambar

Hasilkan gambar resolusi tinggi, dengan mendobrak batasan model difusi! examples/image_synthesis .

Penyempurnaan LoRA didukung dalam examples/train .

ALIRAN	Difusi Stabil 3

Warna	Hunyuan-DiT

Difusi Stabil	Difusi Stabil XL

Penggunaan (di WebUI)

Buat gambar menakjubkan menggunakan pelukis, dengan bantuan AI!

video.mp4

Video ini tidak ditampilkan secara real-time.

Sebelum meluncurkan WebUI, silakan unduh model ke folder ./models . Lihat di sini.

• versi Gradio

 pip install gradio

 python apps/gradio/DiffSynth_Studio.py

• Versi Streamlit

 pip install streamlit streamlit-drawable-canvas

 python -m streamlit run apps/streamlit/DiffSynth_Studio.py

sdxl_turbo_ui.mp4