ToonCrafter Windows 版

ToonCrafter：產生卡通插值

？介紹

️請先查看我們的免責聲明。

？ ToonCrafter 可以利用預先訓練的圖像到視訊擴散先驗來插入兩個卡通圖像。請查看我們的專案頁面和論文以獲取更多資訊。

1.1 展示櫃 (512x320)

輸入起始幀	輸入結束幀	生成的視頻

1.2 稀疏草圖指導

輸入起始幀	輸入結束幀	輸入草圖引導	生成的視頻

2. 應用

2.1 卡通素描插值（更多詳情請參閱項目頁面）

輸入起始幀	輸入結束幀	生成的視頻

2.2 基於參考的草圖著色

輸入草圖	輸入參考	著色結果

變更日誌

• 新增草圖控制和著色功能。
• [2024.05.29] : 發布程式碼和模型權重。
• [2024.05.28] : 啟動專案頁面並更新 arXiv 預印本。

？型號

模型	解決	GPU記憶體。 & 推理時間（A100，ddim 50steps）	檢查站
卡通工匠_512	320x512	待定（ perframe_ae=True ）	抱臉

目前，我們的ToonCrafter可以支援產生最多16幀、解析度為512x320的影片。透過使用較少的 DDIM 步驟可以減少推理時間。

設定

⚒️安裝

先修條件： 3.11>=python>=3.8 、 CUDA>=11.3 、 ffmpeg和git 。

Python 和 Git：

• Python 3.10.11：https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
• git：https://git-scm.com/download/win

授予對 powershell 的不受限制的腳本存取權限，以便 venv 可以工作：

• 開啟管理員 powershell 視窗
• 輸入Set-ExecutionPolicy Unrestricted並回答 A
• 關閉管理 powershell 視窗

 git clone https://github.com/sdbds/ToonCrafter-for-windows

使用 Powershell 執行install.ps1或install-cn.ps1安裝（適用於中文）

無需手動下載模型

？推理

1. 命令列

下載預先訓練的 ToonCrafter_512 並將model.ckpt放入checkpoints/tooncrafter_512_interp_v1/model.ckpt 。

  sh scripts/run.sh

2. 本地Gradio演示

使用run_gui.ps1運行 Powershell

？免責聲明

冷靜下來。我們的框架開啟了產生卡通插值的時代，但由於生成影片先驗的多樣性，成功率無法保證。

️這是一個開源的研究探索，而不是商業產品。它無法滿足您所有的期望。

該計畫致力於對人工智慧驅動的視訊生成領域產生積極影響。用戶可以自由地使用此工具創建視頻，但他們應該遵守當地法律並負責任地使用它。開發者對使用者潛在的誤用不承擔任何責任。

---