ComfyUI LivePortraitKJ

ComfyUI 节点使用 LivePortrait

更新2

添加了另一个替代面部检测器：https://github.com/1adrianb/face-alignment

由于它可以使用 blazeface 后置摄像头模型（或 SFD），因此对于较小的脸部来说，它比 MediaPipe 更好，因为 MediaPipe 只能使用 blazeface 短模型。使用此功能时第一次运行的预热可能需要很长时间，但后续运行很快。

使用 blazeface_back_camera 进行检测的示例：

AnimateDiff_00004.34.mp4

更新

几乎所有开发中的内容的返工现在都合并到了 main 中，这意味着旧的工作流程将无法工作，但一切都应该更快，并且有很多新功能。出于遗留目的，旧的主分支被移动到遗留分支

变化

• 添加了 MediaPipe 作为 Insightface 的替代品，现在使用它时，所有内容都应该受到 MIT 和 Apache-2.0 许可证的保护。

• 正确的 Vid2vid 包括平滑算法（感谢@melMass）

• 提高了速度和效率，即使在 Comfy 中也能实现近乎实时的视图（约 80-100 毫秒延迟）

• 重组节点以获得更多选择

• 未检测到人脸时自动跳帧

• 很多其他事情我现在已经忘记了，已经很多了

• MPS 上更好的 Mac 支持（感谢 @Grant-CP

更新到此更新：

• 将具有里程碑意义的跑步者 onnx 模型转换为火炬模型，这不是我以前做过的事情，我除了将其制作为 .pth 文件之外什么也没做，所以你只需要相信我就可以了。这允许运行所有这些，甚至不需要 onnxruntime，它在 GPU 上运行并且速度差不多。它在 MediaPipe 裁剪器节点上作为选项提供：选择后，会自动从此处下载：https://huggingface.co/Kijai/LivePortrait_safetensors/blob/main/landmark_model.pth

示例：

实时网络摄像头：

liveportrait_realtime.mp4

图像2视频：

liveportrait_img2vid.mp4

视频2视频：

liveportrait_vid2vid.mp4

我已将所有 pickle 文件转换为 safetensors：https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main

它们位于此处（如果该文件夹不存在，则会自动下载） ComfyUI/models/liveportrait

人脸检测器

您可以使用原始默认的 Insightface 或 Google 的 MediaPipe。

最大的区别是许可证：Insightface 严格用于非商业用途。 MediaPipe 的检测能力稍差，并且无法在 Windows 中的 GPU 上运行，尽管与 Insightface 相比，它在 CPU 上运行要快得多

Insightface 不会自动安装，如果您想使用它，请按照以下说明操作： 如果您有一个有效的编译环境，安装它可以非常简单：

pip install insightface

或者对于便携式版本，在 ComfyUI_windows_portable 文件夹中：

python_embeded/python.exe -m pip install insightface

如果失败（很可能），您可以检查反应器节点的故障排除部分以获取替代方案：

https://github.com/Gourieff/comfyui-reactor-node

对于 Insightface 模型，请将其提取到ComfyUI/models/insightface/buffalo_l ：

https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip

请注意，insightface 许可证本质上是非商业性的。