ToonCrafter for windows

ToonCraafter: 漫画の生成補間

?導入

️まず免責事項をご確認ください。

? ToonCrafter は、事前にトレーニングされた画像からビデオへの拡散事前分布を利用して、2 つの漫画画像を補間できます。詳細については、プロジェクトページと論文をご覧ください。

1.1 ショーケース (512x320)

入力開始フレーム	入力終了フレーム	生成されたビデオ

1.2 スパーススケッチのガイダンス

入力開始フレーム	入力終了フレーム	入力スケッチガイダンス	生成されたビデオ

2. アプリケーション

2.1 漫画スケッチ補間 (詳細についてはプロジェクトページを参照してください)

入力開始フレーム	入力終了フレーム	生成されたビデオ

2.2 参照ベースのスケッチの色付け

入力スケッチ	入力基準	カラー化の結果

変更履歴

• スケッチコントロールとカラー化機能を追加します。
• [2024.05.29] : コードとモデルの重みをリリース。
• [2024.05.28] : プロジェクトページを立ち上げ、arXiv プレプリントを更新しました。

?モデル

モデル	解決	GPUメモリ。 & 推論時間 (A100、ddim 50steps)	チェックポイント
トゥーンクラフター_512	320x512	TBD ( perframe_ae=True )	ハグフェイス

現在、ToonCrafter は、解像度 512x320 で最大 16 フレームのビデオの生成をサポートできます。 DDIM ステップの数を減らすことで、推論時間を短縮できます。

設定

⚒️インストール

前提条件: 3.11>=python>=3.8 、 CUDA>=11.3 、 ffmpegおよびgit 。

Python と Git:

• Python 3.10.11: https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
• git: https://git-scm.com/download/win

venv が動作できるように、powershell への無制限のスクリプト アクセスを許可します。

• 管理者のPowerShellウィンドウを開きます
• Set-ExecutionPolicy Unrestrictedと入力し、「A」と答えます
• 管理者のPowerShellウィンドウを閉じる

 git clone https://github.com/sdbds/ToonCrafter-for-windows

Powershell を使用してインストールし、 install.ps1またはinstall-cn.ps1 (中国語の場合) を実行します。

モデルを手動でダウンロードする必要はありません

?推論

1. コマンドライン

事前トレーニングされた ToonCrafter_512 をダウンロードし、 model.ckptをcheckpoints/tooncrafter_512_interp_v1/model.ckptに配置します。

  sh scripts/run.sh

2. ローカル Gradio デモ

run_gui.ps1で Powershell を実行する

?免責事項

落ち着け。私たちのフレームワークは生成漫画補間の時代を切り開きますが、これまでの生成ビデオには多様性があるため、成功率は保証されません。

️これは商用製品ではなく、オープンソースの研究調査です。すべての期待に応えることはできません。

このプロジェクトは、AI 主導のビデオ生成の領域にプラスの影響を与えることを目指しています。ユーザーにはこのツールを使用してビデオを作成する自由が与えられていますが、現地の法律を遵守し、責任を持って使用することが求められます。開発者は、ユーザーによる潜在的な誤用に対して一切の責任を負いません。

---