ComfyUI LivePortraitKJ

ComfyUI 節點使用 LivePortrait

更新2

新增了另一個替代臉部偵測器：https://github.com/1adrianb/face-alignment

由於它可以使用 blazeface 後置相機模型（或 SFD），因此對於較小的臉部來說，它比 MediaPipe 更好，因為 MediaPipe 只能使用 blazeface 短模型。使用此功能時第一次運行的預熱可能需要很長時間，但後續運行很快。

使用 blazeface_back_camera 進行偵測的範例：

AnimateDiff_00004.34.mp4

更新

幾乎所有開發中的內容的返工現在都合併到了 main 中，這意味著舊的工作流程將無法工作，但一切都應該更快，並且有很多新功能。出於遺留目的，舊的主分支被移動到遺留分支

變化

• 新增了 MediaPipe 作為 Insightface 的替代品，現在使用它時，所有內容都應該受到 MIT 和 Apache-2.0 授權的保護。

• 正確的 Vid2vid 包括平滑演算法（感謝@melMass）

• 提高了速度和效率，即使在 Comfy 中也能實現近乎即時的視圖（約 80-100 毫秒延遲）

• 重組節點以獲得更多選擇

• 未偵測到人臉時自動跳幀

• 很多其他事情我現在已經忘記了，已經很多了

• MPS 上更好的 Mac 支援（感謝 @Grant-CP

更新到此更新：

• 將具有里程碑意義的跑步者 onnx 模型轉換為火炬模型，這不是我以前做過的事情，我除了將其製作為 .pth 文件之外什麼也沒做，所以你只需要相信我就可以了。這允許運行所有這些，甚至不需要 onnxruntime，它在 GPU 上運行並且速度差不多。它在 MediaPipe 裁剪器節點上作為選項提供：選擇後，會自動從此處下載：https://huggingface.co/Kijai/LivePortrait_safetensors/blob/main/landmark_model.pth

範例：

即時網路攝影機：

liveportrait_realtime.mp4

影像2影片：

liveportrait_img2vid.mp4

影片2影片：

liveportrait_vid2vid.mp4

我已將所有 pickle 檔案轉換為 safetensors：https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main

它們位於此處（如果該資料夾不存在，則會自動下載） ComfyUI/models/liveportrait

臉部偵測器

您可以使用原始預設的 Insightface，或 Google 的 MediaPipe。

最大的區別是許可證：Insightface 嚴格用於非商業用途。 MediaPipe 的偵測能力稍差，無法在 Windows 中的 GPU 上運行，儘管與 Insightface 相比，它在 CPU 上運行要快得多

Insightface 不會自動安裝，如果您想使用它，請按照以下說明操作： 如果您有一個有效的編譯環境，安裝它可以非常簡單：

pip install insightface

或對於便攜式版本，在 ComfyUI_windows_portable 資料夾中：

python_embeded/python.exe -m pip install insightface

如果失敗（很可能），您可以檢查反應器節點的故障排除部分以取得替代方案：

https://github.com/Gourieff/comfyui-reactor-node

對於 Insightface 模型，請將其提取至ComfyUI/models/insightface/buffalo_l ：

https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip

請注意，insightface 許可證本質上是非商業性的。