コントロールアニメーション
- Vid2Vid アプリケーション用の AnimateDiff と Multi-ControlNet および Img2Img の組み合わせ。この小さなライブラリは、ビデオ生成をガイドする ControlNet (または Multi-ControlNet) と一貫性を保つための AnimateDiff を使用することで、Vid2Vid アプリケーションに特に焦点を当てています。
- さらに、より一貫性のあるビデオを作成するために Img2Img を使用します (最初のエポックの後)。 AnimateDiff と同様に、Stable Diffusion 1.5 ベース モデルに加えて DreamBooth/LoRA モデルの使用が可能になります。
- これは初期リリースであるため、潜在的な問題やバグが予想されます。フィードバック、提案、機能リクエストは大歓迎です。
ニュース
- 2023 年 11 月 20 日 - IP アダプター、xformers、およびカラー マッチングをサポートするようになりました。
- 2023 年 11 月 12 日 - すべての組み合わせで LCM-LoRA と ControlNet をサポートするようになりました。
- 2023 年 11 月 7 日 - 潜在整合性モデル (LCM) をサポートするようになりました - 10 倍のパフォーマンス向上を達成!
サポートされている機能
- ? IP アダプター (AnimateDiff フレームのバッチの類似性を高めるために使用)
- ?潜在整合性モデル LoRA (LCM-LoRA)
- ?潜在整合性モデル (LCM) ネイティブ
- ? Multi-ControlNetはLCMなどと組み合わせることができます。
- ?プロンプトの重み付けと長いプロンプト (強制)
- ?ドリームブースとLoRA
- ? FFMPEG補間
- ?バッチ間のカラーマッチングによる一貫性の向上
- ?潜在オーバーラップ (Img2Img および ControlNet) およびフレーム オーバーラップ (ブレンディング)
- ?顔の強化とアップスケーリング (GFPGAN および RealESRGAN)
- ?入力ビデオの任意のフレーム レート、期間、解像度のサンプリング
- ? xformers を有効にする
互換性と要件
- このコードベースは Linux (Ubuntu 22.04) でのみテストされました。 NVIDIA Gefore RTX 3090 (24 GB VRAM) を搭載した Intel マシンでテストされており、少なくとも 16 GB の RAM が必要です。
インストール
- Anaconda がインストールされていることを確認してください (https://www.anaconda.com/download)。
- また、FFMPEG が適切にインストールされ、設定されていることを確認してください (インストールについては次のガイド「ガイド 1」を参照してください。まだ問題がある場合は「ガイド 2」を参照してください) - configs/prompts yaml で FFMPEG パスを設定できます。ファイル)
git clone [email protected]:intellerce/controlanimate.git
cd ControlAnimate
bash download.sh
conda env create -f env.yml
Vid2Vid
- 構成ファイル「configs/prompts/SampleConfig.yaml」を設定した後、次のコマンドを実行するだけです (有効な入力ビデオ ファイルを指定することを忘れないでください)。
conda activate controlanimate
bash start.sh
RTX 3090 を 1 台搭載したマシンでテストしました。
即時重み付け
- プロンプトの重み付けは Compel に基づいています。重要度に + または (...)+ を使用するか、次のように重みを追加できます: (cat)1.2 同様に、負符号 (-) を使用して重みを減らすか、1 未満の重みを使用できます。 https:// を参照してください。詳細については、github.com/damian0815/compel/blob/main/Reference.md を参照してください。
結果
- 4 つの ControlNet と潜在的なオーバーラップ (configs/prompts/SampleConfig.yaml)
- LCM (ControlNet なし) (configs/prompts/SampleConfigLCM.yaml)
- LCM-LoRA + マルチコントロールネット (configs/prompts/SampleConfigLCMLoRA.yaml)
- IP アダプター + LCM-LoRA + マルチコントロールネット (configs/prompts/SampleConfigIPAdapter.yaml)
藤堂
お問い合わせ
ハメド・オミッドバー博士: [email protected]
ヴァヒデ・アクラギ博士: [email protected]
ライセンス
このコードベースは、Apache v2.0 ライセンスに基づいてリリースされています。このリポジトリのベースとなっているコードベースのライセンスについては、対応する Github/Web サイトのページを参照してください。
謝辞
このコードベースは、次のリポジトリに基づいて構築されているか、または次のリポジトリからインスピレーションを受けて構築されています。 AnimateDiff Diffusers IP-Adapter Video2Video Color Matcher
著者らは、貴重なフィードバックと提案をくださった Kalin Ovtcharov (Extropolis Corp.) に感謝の意を表します。
