控制動畫
- 將 AnimateDiff 與 Multi-ControlNet 和 Img2Img 結合以實現 Vid2Vid 應用程式。這個小型庫特別關注 Vid2Vid 應用程序，透過使用 ControlNet（或 Multi-ControlNet）指導視訊生成和 AnimateDiff 來保持一致性。
- 此外，它使用 Img2Img 創建更一致的影片（在第一個 epoch 之後）。與 AnimateDiff 類似，除了 Stable Diffusion 1.5 基本模型之外，它還允許使用 DreamBooth/LoRA 模型。
- 這是初始版本，因此請期待潛在的問題和錯誤。歡迎提供回饋、建議和功能請求。
訊息
- 2023 年 11 月 20 日 - 現在支援 IP 適配器、xformers 和顏色匹配！
- 2023 年 11 月 12 日 - 現在支援所有組合的 LCM-LoRA 和 ControlNet！
- 2023 年 11 月 7 日 - 現在支援潛在一致性模型 (LCM) - 實現 10 倍的效能提升！
支援的功能
- ？ IP適配器（用於增加批量AnimateDiff幀的相似度）
- ？潛在一致性模型 LoRA (LCM-LoRA)
- ？潛在一致性模型 (LCM) 本機
- ？ Multi-ControlNet可以與LCM等組合。
- ？提示加權和長提示（強制）
- ？ DreamBooth 和 LoRA
- ？ FFMPEG 插值
- ？批次之間的顏色匹配可提高一致性
- ？潛在重疊（Img2Img 和 ControlNet）和幀重疊（混合）
- ？臉部增強和放大（GFPGAN 和 RealESRGAN）
- ？輸入影片的任意幀速率、持續時間和解析度取樣
- ？ xformers 已啟用
相容性和要求
- 此程式碼庫僅在 Linux (Ubuntu 22.04) 上進行了測試。它在配備 NVIDIA Gefore RTX 3090 (24 GB VRAM) 的 Intel 機器上進行了測試，並且需要至少 16 GB RAM。
安裝
- 確保您已安裝 Anaconda (https://www.anaconda.com/download)。
- 另請確保 FFMPEG 已正確安裝和設定（您可以按照以下指南進行安裝：“指南 1”，如果仍然有問題：“指南 2” - 您可以在 configs/prompts yaml 中設定 FFMPEG 路徑檔案）
git clone [email protected]:intellerce/controlanimate.git
cd ControlAnimate
bash download.sh
conda env create -f env.yml
影片對影片
- 設定設定檔“configs/prompts/SampleConfig.yaml”後，只需執行以下命令（不要忘記指向有效的輸入視訊檔案）：
conda activate controlanimate
bash start.sh
在配備單一 RTX 3090 的機器上進行測試。
提示加權
- 提示權重基於 Compel。您可以使用+ 或(...)+ 來表示重要性或添加權重，如下所示：(cat)1.2 同樣，您可以使用負號(-) 來減少權重或使用低於1 的權重。 https:// github.com/damian0815/compel/blob/main/Reference.md 以了解更多資訊。
結果
- 四個 ControlNet 和潛在重疊 (configs/prompts/SampleConfig.yaml)
- LCM（無 ControlNet）（configs/prompts/SampleConfigLCM.yaml）
- LCM-LoRA + Multi-ControlNet (configs/prompts/SampleConfigLCMLoRA.yaml)
- IP 適配器 + LCM-LoRA + Multi-ControlNet (configs/prompts/SampleConfigIPAdapter.yaml)
托多
聯絡我們
哈米德·奧米德瓦爾博士: [email protected]
瓦希德·阿赫拉吉博士: [email protected]
執照
該程式碼庫是在 Apache v2.0 許可證下發布的。有關此儲存庫所基於的程式碼庫的許可證，請參閱相應的 Github/網站頁面。
致謝
此程式碼庫基於以下儲存庫建置和/或受到以下儲存庫的啟發： AnimateDiff Diffusers IP-Adapter Video2Video Color Matcher
作者要感謝 Kalin Ovtcharov（Extropolis Corp.）提供寶貴的回饋與建議。
