DiffSynth Studio

ดิฟซินธ์ สตูดิโอ

เอกสาร: https://diffsynth-studio.readthedocs.io/zh-cn/latest/index.html

การแนะนำ

DiffSynth Studio เป็นเครื่องมือการแพร่กระจาย เรามีสถาปัตยกรรมที่ปรับโครงสร้างใหม่ เช่น Text Encoder, UNet, VAE และอื่นๆ โดยรักษาความเข้ากันได้กับโมเดลจากชุมชนโอเพ่นซอร์สในขณะเดียวกันก็เพิ่มประสิทธิภาพการประมวลผล เรามีคุณสมบัติที่น่าสนใจมากมาย เพลิดเพลินไปกับความมหัศจรรย์ของโมเดลการแพร่กระจาย!

จนถึงขณะนี้ DiffSynth Studio รองรับรุ่นต่อไปนี้:

• CogVideoX
• ฟลักซ์
• เอ็กซ์วิดีโอ
• สี
• การแพร่กระจายที่เสถียร 3
• การแพร่กระจายวิดีโอที่เสถียร
• ฮุนหยวน-DiT
• รวย
• เอสอาร์แกน
• IP-อะแดปเตอร์
• ภาพเคลื่อนไหวDiff
• คอนโทรลเน็ต
• การแพร่กระจายที่เสถียร XL
• การแพร่กระจายที่เสถียร

ข่าว

• 25 ตุลาคม 2024 เราให้การสนับสนุน FLUX ControlNet อย่างกว้างขวาง โปรเจ็กต์นี้รองรับโมเดล ControlNet ที่แตกต่างกันจำนวนมากที่สามารถรวมเข้าด้วยกันได้อย่างอิสระ แม้ว่าโครงสร้างจะแตกต่างกันก็ตาม นอกจากนี้ รุ่น ControlNet ยังเข้ากันได้กับเทคนิคการปรับแต่งความละเอียดสูงและการควบคุมพาร์ติชัน ทำให้สามารถสร้างภาพที่ควบคุมได้อย่างทรงพลัง ดู . ./examples/ControlNet/ /

• 8 ตุลาคม 2024 เราเผยแพร่ LoRA แบบขยายตาม CogVideoX-5B และ ExVideo คุณสามารถดาวน์โหลดโมเดลนี้ได้จาก ModelScope หรือ HuggingFace

• 22 สิงหาคม 2024 CogVideoX-5B ได้รับการสนับสนุนในโปรเจ็กต์นี้ ดูที่นี่ เรานำเสนอคุณสมบัติที่น่าสนใจหลายประการสำหรับรูปแบบข้อความเป็นวิดีโอนี้ รวมถึง

  • ข้อความเป็นวิดีโอ
  • การตัดต่อวิดีโอ
  • การขยายขนาดด้วยตนเอง
  • การแก้ไขวิดีโอ

• 22 สิงหาคม 2024 เราได้ใช้งานโปรแกรมระบายสีที่น่าสนใจซึ่งรองรับโมเดลข้อความเป็นรูปภาพทั้งหมด ตอนนี้คุณสามารถสร้างภาพที่น่าทึ่งโดยใช้จิตรกร ด้วยความช่วยเหลือจาก AI!

  • ใช้ใน WebUI ของเรา

• 21 สิงหาคม 2024 รองรับ FLUX ใน DiffSynth-Studio

  • เปิดใช้งาน CFG และ highres-fix เพื่อปรับปรุงคุณภาพของภาพ ดูที่นี่
  • LoRA, ControlNet และรุ่นเพิ่มเติมจะวางจำหน่ายเร็วๆ นี้

• 21 มิถุนายน 2567 ??? เราขอเสนอ ExVideo ซึ่งเป็นเทคนิคหลังการปรับแต่งที่มุ่งเพิ่มขีดความสามารถของโมเดลการสร้างวิดีโอ เราได้ขยาย Stable Video Diffusion เพื่อสร้างวิดีโอขนาดยาวได้ถึง 128 เฟรม

  • หน้าโครงการ
  • ซอร์สโค้ดถูกเผยแพร่ใน repo นี้ ดู examples/ExVideo
  • โมเดลต่างๆ ได้รับการเผยแพร่บน HuggingFace และ ModelScope
  • รายงานทางเทคนิคเผยแพร่บน arXiv
  • คุณสามารถลองใช้ ExVideo ในการสาธิตนี้!

• 13 มิถุนายน 2024 DiffSynth Studio ถูกโอนไปยัง ModelScope นักพัฒนาได้เปลี่ยนจาก "ฉัน" เป็น "เรา" แน่นอนว่าฉันจะยังคงมีส่วนร่วมในการพัฒนาและบำรุงรักษา

• 29 ม.ค. 2024 เราขอแนะนำ Diffutoon โซลูชั่นที่ยอดเยี่ยมสำหรับการแรเงาการ์ตูน

  • หน้าโครงการ
  • ซอร์สโค้ดได้รับการเผยแพร่ในโครงการนี้
  • รายงานทางเทคนิค (IJCAI 2024) ได้รับการเผยแพร่บน arXiv

• 8 ธ.ค. 2023 เราตัดสินใจพัฒนาโปรเจ็กต์ใหม่โดยมีเป้าหมายเพื่อเผยแพร่ศักยภาพของโมเดลการแพร่กระจาย โดยเฉพาะอย่างยิ่งในการสังเคราะห์วิดีโอ การพัฒนาโครงการนี้จึงเริ่มต้นขึ้น

• 15 พ.ย. 2023 เราขอเสนอ FastBlend ซึ่งเป็นอัลกอริธึมการกะพริบของวิดีโออันทรงพลัง

  • ส่วนขยาย sd-webui เปิดตัวบน GitHub
  • วิดีโอสาธิตจะแสดงบน Bilibili รวมถึงสามงาน
    • การกะพริบของวิดีโอ
    • การแก้ไขวิดีโอ
    • การเรนเดอร์วิดีโอที่ขับเคลื่อนด้วยรูปภาพ
  • รายงานทางเทคนิคเผยแพร่บน arXiv
  • ส่วนขยาย ComfyUI อย่างไม่เป็นทางการที่พัฒนาโดยผู้ใช้รายอื่นได้รับการเผยแพร่บน GitHub

• 1 ต.ค. 2023 เราเผยแพร่เวอร์ชันแรกของโปรเจ็กต์นี้ ซึ่งก็คือ FastSDXL การทดลองสร้างเครื่องยนต์แพร่

  • ซอร์สโค้ดได้รับการเผยแพร่บน GitHub
  • FastSDXL มีตัวกำหนดเวลา OLSS ที่สามารถฝึกได้เพื่อการปรับปรุงประสิทธิภาพ
    • repo ดั้งเดิมของ OLSS อยู่ที่นี่
    • รายงานทางเทคนิค (CIKM 2023) ได้รับการเผยแพร่บน arXiv
    • วิดีโอสาธิตจะแสดงบน Bilibili
    • เนื่องจาก OLSS ต้องการการฝึกอบรมเพิ่มเติม เราจึงไม่นำไปใช้ในโปรเจ็กต์นี้

• 29 ส.ค. 2023 เราขอเสนอ DiffSynth ซึ่งเป็นเฟรมเวิร์กการสังเคราะห์วิดีโอ

  • หน้าโครงการ.
  • ซอร์สโค้ดได้รับการเผยแพร่ใน EasyNLP
  • รายงานทางเทคนิค (ECML PKDD 2024) ได้รับการเผยแพร่บน arXiv

การติดตั้ง

ติดตั้งจากซอร์สโค้ด (แนะนำ):

 git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .

หรือติดตั้งจาก pypi:

 pip install diffsynth

การใช้งาน (ในโค้ด Python)

ตัวอย่าง Python อยู่ใน examples เราให้ภาพรวมที่นี่

ดาวน์โหลดโมเดล

ดาวน์โหลดโมเดลที่ตั้งไว้ล่วงหน้า รหัสโมเดลสามารถพบได้ในไฟล์กำหนดค่า

 from diffsynth import download_models

download_models ([ "FLUX.1-dev" , "Kolors" ])

ดาวน์โหลดโมเดลของคุณเอง

 from diffsynth . models . downloader import download_from_huggingface , download_from_modelscope

# From Modelscope (recommended)
download_from_modelscope ( "Kwai-Kolors/Kolors" , "vae/diffusion_pytorch_model.fp16.bin" , "models/kolors/Kolors/vae" )
# From Huggingface
download_from_huggingface ( "Kwai-Kolors/Kolors" , "vae/diffusion_pytorch_model.fp16.safetensors" , "models/kolors/Kolors/vae" )

การสังเคราะห์วิดีโอ

แปลงข้อความเป็นวิดีโอโดยใช้ CogVideoX-5B

CogVideoX-5B เปิดตัวโดย ZhiPu เรามีไปป์ไลน์ที่ได้รับการปรับปรุง โดยรองรับการแปลงข้อความเป็นวิดีโอ การตัดต่อวิดีโอ การขยายขนาดด้วยตนเอง และการแก้ไขวิดีโอ examples/video_synthesis

วิดีโอทางด้านซ้ายสร้างขึ้นโดยใช้ไปป์ไลน์การแปลงข้อความเป็นวิดีโอต้นฉบับ ในขณะที่วิดีโอทางด้านขวาเป็นผลหลังจากการตัดต่อและการแก้ไขเฟรม

cogvideo.mp4

การสังเคราะห์วิดีโอขนาดยาว

เราฝึกโมเดลการสังเคราะห์วิดีโอแบบขยาย ซึ่งสามารถสร้างได้ 128 เฟรม examples/ExVideo

github_title.mp4

สาธิต.mp4

ตูน แรเงา

เรนเดอร์วิดีโอที่สมจริงในรูปแบบแบนและเปิดใช้งานคุณสมบัติการตัดต่อวิดีโอ examples/Diffutoon

Diffutoon.mp4

Diffutoon_edit.mp4

วิดีโอสไตล์

การปรับแต่งสไตล์วิดีโอโดยไม่มีโมเดลวิดีโอ examples/diffsynth

winter_stone.mp4

การสังเคราะห์ภาพ

สร้างภาพที่มีความละเอียดสูง โดยทลายข้อจำกัดของโมเดลการแพร่กระจาย! examples/image_synthesis

รองรับการปรับแต่ง LoRA โดยละเอียดใน examples/train

ฟลักซ์	การแพร่กระจายที่เสถียร 3

สี	ฮุนหยวน-DiT

การแพร่กระจายที่เสถียร	การแพร่กระจายที่เสถียร XL

การใช้งาน (ใน WebUI)

สร้างภาพที่น่าทึ่งโดยใช้จิตรกร ด้วยความช่วยเหลือจาก AI!

วิดีโอ.mp4

วิดีโอนี้ไม่ได้แสดงผลแบบเรียลไทม์

ก่อนที่จะเปิดตัว WebUI โปรดดาวน์โหลดโมเดลลงในโฟลเดอร์ ./models models ดูที่นี่

• เวอร์ชั่น Gradio

 pip install gradio

 python apps/gradio/DiffSynth_Studio.py

• เวอร์ชัน Streamlit

 pip install streamlit streamlit-drawable-canvas

 python -m streamlit run apps/streamlit/DiffSynth_Studio.py

sdxl_turbo_ui.mp4