DiffSynth Studio

DiffSynth 工作室

文件：https://diffsynth-studio.readthedocs.io/zh-cn/latest/index.html

介紹

DiffSynth Studio 是一個擴散引擎。我們重構了文字編碼器、UNet、VAE等架構，保持與開源社群模型的相容性，同時增強運算效能。我們提供許多有趣的功能。享受擴香模型的魔力！

到目前為止，DiffSynth Studio已經支援以下模型：

• 科格影片X
• 通量
• ExVideo
• 科勒斯
• 穩定擴散3
• 穩定的視訊擴散
• 渾源-DiT
• RIFE
• ESRGAN
• IP適配器
• 動畫差異
• 控制網
• 穩定擴散XL
• 穩定擴散

訊息

• 2024 年 10 月 25 日我們提供廣泛的 FLUX ControlNet 支援。該專案支援許多不同的 ControlNet 模型，即使它們的結構不同，也可以自由組合。此外，ControlNet 模型與高解析度細化和分區控制技術相容，可產生非常強大的可控影像。請參閱./examples/ControlNet/ 。

• 2024年10月8日，我們發布了基於CogVideoX-5B和ExVideo的擴展LoRA。您可以從 ModelScope 或 HuggingFace 下載此型號。

• 2024 年 8 月 22 日。看這裡。我們為這個文字到視訊模型提供了幾個有趣的功能，包括

  • 文字轉視頻
  • 影片編輯
  • 自我升級
  • 影片插值

• 2024 年 8 月 22 日。現在，您可以在 AI 的幫助下使用畫家創建令人驚嘆的圖像！

  • 在我們的 WebUI 中使用它。

• 2024 年 8 月 21 日。

  • 啟用 CFG 和高解析度修復以提高視覺品質。看這裡
  • LoRA、ControlNet 和其他型號即將推出。

• 2024 年 6 月 21 日。我們提出了 ExVideo，一種旨在增強視訊生成模型能力的後期調整技術。我們擴展了穩定視訊擴散，以實現產生高達 128 幀的長視訊。

  • 專案頁面
  • 原始碼在此儲存庫中發布。請參閱examples/ExVideo 。
  • 模型在 HuggingFace 和 ModelScope 上發布。
  • 技術報告在 arXiv 上發布。
  • 您可以在此演示中嘗試 ExVideo！

• 2024 年 6 月 13 日。開發者已經從「我」轉變為「我們」。當然，我還是會參與開發和維護。

• 2024 年 1 月 29 日。

  • 專案頁面
  • 本專案已發布原始碼。
  • 技術報告（IJCAI 2024）在 arXiv 上發布。

• 2023年12月8日。該項目的開發已啟動。

• 2023 年 11 月 15 日。

  • sd-webui 擴充功能已在 GitHub 上發布。
  • Bilibili 上有示範視頻，包括三個任務。
    • 視頻去閃爍
    • 影片插值
    • 影像驅動的視訊渲染
  • 技術報告發佈在arXiv上。
  • 由其他用戶開發的非官方 ComfyUI 擴充功能已在 GitHub 上發布。

• 2023 年 10 月 1 日。嘗試建造擴散引擎。

  • 原始碼發佈在 GitHub 上。
  • FastSDXL 包括一個可訓練的 OLSS 調度程序，以提高效率。
    • OLSS 的原始儲存庫在這裡。
    • 技術報告（CIKM 2023）在 arXiv 上發布。
    • Bilibili 上展示了示範影片。
    • 由於 OLSS 需要額外的培訓，因此我們不在本專案中實現它。

• 2023 年 8 月 29 日。

  • 項目頁面。
  • 原始碼在 EasyNLP 中發布。
  • 技術報告（ECML PKDD 2024）在 arXiv 上發布。

安裝

從原始碼安裝（建議）：

 git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .

或從 pypi 安裝：

 pip install diffsynth

用法（Python 程式碼中）

Python 範例位於examples中。我們在此提供概述。

下載模型

下載預設模型。模型 ID 可以在設定檔中找到。

 from diffsynth import download_models

download_models ([ "FLUX.1-dev" , "Kolors" ])

下載您自己的模型。

 from diffsynth . models . downloader import download_from_huggingface , download_from_modelscope

# From Modelscope (recommended)
download_from_modelscope ( "Kwai-Kolors/Kolors" , "vae/diffusion_pytorch_model.fp16.bin" , "models/kolors/Kolors/vae" )
# From Huggingface
download_from_huggingface ( "Kwai-Kolors/Kolors" , "vae/diffusion_pytorch_model.fp16.safetensors" , "models/kolors/Kolors/vae" )

視訊合成

使用 CogVideoX-5B 進行文字轉視頻

CogVideoX-5B由智普發布。我們提供改進的管道，支援文字到影片、影片編輯、自我升級和影片插值。 examples/video_synthesis

左邊的影片是使用原始文字到影片管道產生的，而右邊的影片是經過編輯和幀插值後的結果。

cogvideo.mp4

長視頻合成

我們訓練了擴展的視訊合成模型，可以產生 128 幀。 examples/ExVideo

github_標題.mp4

演示.mp4

香椿底紋

以扁平化風格渲染逼真的影片並啟用影片編輯功能。 examples/Diffutoon

Diffutoon.mp4

Diffutoon_edit.mp4

影片風格化

沒有視訊模型的影片風格化。 examples/diffsynth

冬天的石頭.mp4

影像合成

突破擴散模型的限制，產生高解析度影像！ examples/image_synthesis 。

examples/train支援 LoRA 微調。

通量	穩定擴散3

科勒斯	渾源-DiT

穩定擴散	穩定擴散XL

用法（在 WebUI 中）

在人工智慧的幫助下，使用畫家創造令人驚嘆的圖像！

視頻.mp4

該視訊不是即時渲染的。

在啟動 WebUI 之前，請將模型下載到資料夾./models 。看這裡。

• Gradio版

 pip install gradio

 python apps/gradio/DiffSynth_Studio.py

• Streamlit版本

 pip install streamlit streamlit-drawable-canvas

 python -m streamlit run apps/streamlit/DiffSynth_Studio.py

sdxl_turbo_ui.mp4