ComfyUI LivePortraitKJ
1.0.0
別の代替顔検出器を追加しました: https://github.com/1adrianb/face-alignment
これはブレイズフェイス バック カメラ モデル (または SFD) を使用できるため、ブレイズフェイス ショート モデルのみを使用できる MediaPipe よりも小さな顔に適しています。これを使用する場合、最初の実行時のウォームアップには時間がかかることがありますが、その後の実行はすぐに完了します。
blazeface_back_camera を使用した検出の例:
開発中のほぼすべての再作業がメインにマージされました。これは、古いワークフローが機能しなくなることを意味しますが、すべてが高速化され、多くの新機能が追加されるはずです。レガシーの目的のため、古いメインブランチはレガシー - ブランチに移動されます。
変更点
Insightface の代替として MediaPipe が追加されました。これを使用する場合、すべてが MIT および Apache-2.0 ライセンスの下でカバーされるようになりました。
平滑化アルゴリズムを含む適切な Vid2vid (@melMass に感謝)
速度と効率が向上し、Comfy でもほぼリアルタイムの表示が可能になります (最大 80 ～ 100 ミリ秒の遅延)。
ノードを再構築してオプションを追加
顔が検出されない場合のフレームの自動スキップ
この時点では他にもたくさんのことを忘れていましたが、それはたくさんありました
MPS での Mac サポートの向上 (@Grant-CP に感謝)
このアップデートに更新:
ランドマークランナーのonnxモデルをトーチモデルに変換しましたが、これまでにやったことはなく、.pthファイルにする以外は何もできませんでした。そのため、私を信頼してください。これにより、onnxruntime がなくてもこれらすべてを実行できるようになり、GPU 上で実行され、ほぼ同じ速度になります。 MediaPipe クロッパー ノードでオプションとして利用できます: 選択すると、ここから自動的にダウンロードされます: https://huggingface.co/Kijai/LivePortrait_safetensors/blob/main/landmark_model.pth
ウェブカメラフィードによるリアルタイム:
画像 2 ビデオ:
Vid2Vid:
すべての pickle ファイルをセーフテンソルに変換しました: https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main
これらはここにあります (フォルダーが存在しない場合は自動的にダウンロードされます) ComfyUI/models/liveportrait
オリジナルのデフォルトの Insightface または Google の MediaPipe を使用できます。
最大の違いはライセンスです。Insightface は非営利目的でのみ使用できます。 MediaPipe は検出が少し悪く、Windows の GPU では実行できませんが、Insightface と比較すると CPU でははるかに高速です。
Insightface は自動的にインストールされません。使用したい場合は、次の手順に従ってください。 動作するコンパイル環境がある場合、インストールは次のように簡単に行えます。
pip install insightface
または、ポータブル バージョンの場合は、 ComfyUI_windows_portable フォルダー内にあります。
python_embeded/python.exe -m pip install insightface
これが失敗した場合 (そしてその可能性が高い)、代替手段については、リアクター ノードのトラブルシューティングの部分を確認できます。
https://github.com/Gourieff/comfyui-reactor-node
Insightface モデルの場合、これをComfyUI/models/insightface/buffalo_lに抽出します。
https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip
Insightface ライセンスは本質的に非営利であることに注意してください。
