欲了解更多结果，请访问我们的主页
2024/10/18 : ❗ 我们更新了transformers和gradio库的版本以避免安全漏洞。详细信息请参见此处。2024/08/29 : ？我们更新了 Windows 一键安装程序并支持自动更新，请参阅更改日志。2024/08/19 : ?️ 我们支持图像驱动模式和区域控制。详细信息请参见此处。2024/08/06 : ？受 ComfyUI-AdvancedLivePortrait 的启发，我们支持在 Gradio 界面中进行精确的肖像编辑。参见这里。2024/08/05 : ? Windows 用户现在可以下载人类模式和动物模式的一键安装程序！详细信息请参见此处。2024/08/02 : ？我们发布了动物模型的一个版本，以及其他一些更新和改进。在这里查看详细信息！2024/07/25 : ？ Windows 用户现在可以从 HuggingFace 下载该软件包。只需解压并双击run_windows.bat即可享受！2024/07/24 : ？我们支持在 Gradio 界面中对源肖像进行姿势编辑。我们还降低了默认检测阈值以提高召回率。玩得开心！2024/07/19 : 我们支持纵向视频编辑（又名 v2v） ！更多内容请看这里。2024/07/17 : ？我们支持带有 Apple Silicon 的 macOS，修改自 jeehu 的 PR #143。2024/07/10 : ？支持音视频拼接、驱动视频自动裁剪、模板制作等功能，保护隐私。更多内容请看这里。2024/07/09 : ？我们发布了 HuggingFace Space，感谢 HF 团队和 Gradio！2024/07/04 : ？我们发布了初始版本的推理代码和模型。持续更新，敬请关注！2024/07/04 : 我们发布了 arXiv 主页和技术报告。 这个名为LivePortrait的存储库包含我们的论文 LivePortrait：具有拼接和重定向控制的高效肖像动画的官方 PyTorch 实现。我们正在积极更新和改进这个存储库。如果您发现任何错误或有建议，欢迎提出问题或提交拉取请求（PR）？。
笔记
确保您的系统安装了git 、 conda和FFmpeg 。有关 FFmpeg 安装的详细信息，请参阅如何安装 FFmpeg 。
git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait
# create env using conda
conda create -n LivePortrait python=3.10
conda activate LivePortraitX-Pose 要求您的torch版本与 CUDA 版本兼容。
首先，通过以下方式检查您当前的 CUDA 版本：
nvcc -V # example versions: 11.1, 11.8, 12.1, etc.然后，安装相应的torch版本。以下是不同 CUDA 版本的示例。如果您的 CUDA 版本未列出，请访问 PyTorch 官方网站获取安装命令：
# for CUDA 11.1
pip install torch==1.10.1+cu111 torchvision==0.11.2 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu111/torch_stable.html
# for CUDA 11.8
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu118
# for CUDA 12.1
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121
# ...注意：在Windows系统上，某些更高版本的CUDA（例如12.4、12.6等）可能会导致未知问题。为了稳定性，您可以考虑将 CUDA 降级到版本 11.8。请参阅@dimitribarbot 的降级指南。
最后，安装剩余的依赖项：
pip install -r requirements.txtX-Pose 依赖项不支持 macOS，因此您可以跳过其安装。虽然人类模式照常工作，但不支持动物模式。使用为带有 Apple Silicon 的 macOS 提供的要求文件：
# for macOS with Apple Silicon users
pip install -r requirements_macOS.txt下载预训练权重的最简单方法是从 HuggingFace：
# !pip install -U "huggingface_hub[cli]"
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude " *.git* " " README.md " " docs "如果无法访问Huggingface，可以使用hf-mirror下载：
# !pip install -U "huggingface_hub[cli]"
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude " *.git* " " README.md " " docs "或者，您可以从 Google Drive 或百度云下载所有预训练的权重。解压缩并将它们放入./pretrained_weights中。
确保目录结构与此相同或包含此。
# For Linux and Windows users
python inference.py
# For macOS users with Apple Silicon (Intel is not tested). NOTE: this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py如果脚本成功运行，您将获得一个名为animations/s6--d0_concat.mp4的输出mp4 文件。该文件包括以下结果：行驶视频、输入图像或视频、以及生成的结果。
或者，您可以通过指定-s和-d参数来更改输入：
# source input is an image
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4
# source input is a video
python inference.py -s assets/examples/source/s13.mp4 -d assets/examples/driving/d0.mp4
# more options to see
python inference.py -h动物模式仅在具有 NVIDIA GPU 的 Linux 和 Windows 上进行了测试。
首先需要构建一个名为MultiScaleDeformableAttention的 OP，通用关键点检测框架 X-Pose 使用该 OP。
cd src/utils/dependencies/XPose/models/UniPose/ops
python setup.py build install
cd - # equal to cd ../../../../../../../然后
python inference_animals.py -s assets/examples/source/s39.jpg -d assets/examples/driving/wink.pkl --driving_multiplier 1.75 --no_flag_stitching如果脚本成功运行，您将获得一个名为animations/s39--wink_concat.mp4的输出mp4 文件。
重要的
要使用您自己的驾驶视频，我们建议：
--flag_crop_driving_video启用自动裁剪。以下是--flag_crop_driving_video的自动裁剪案例：
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d13.mp4 --flag_crop_driving_video如果您发现自动裁剪的效果不佳，可以修改--scale_crop_driving_video 、 --vy_ratio_crop_driving_video选项来调整比例和偏移量，或者手动进行。
您还可以使用自动生成的以.pkl结尾的运动模板文件来加快推理速度并保护隐私，例如：
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d5.pkl # portrait animation
python inference.py -s assets/examples/source/s13.mp4 -d assets/examples/driving/d5.pkl # portrait video editing我们还提供了 Gradio 界面以获得更好的体验，只需运行：
# For Linux and Windows users (and macOS with Intel??)
python app.py # humans mode
# For macOS with Apple Silicon users, Intel not supported, this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python app.py # humans mode我们还提供了动物模式的Gradio界面，仅在具有NVIDIA GPU的Linux上进行了测试：
python app_animals.py # animals mode ??您可以指定--server_port 、 --share 、 --server_name参数来满足您的需求！
我们还提供了一个加速选项--flag_do_torch_compile 。首次推理会触发优化过程（约一分钟），使后续推理速度提高 20-30%。不同 CUDA 版本的性能提升可能会有所不同。
# enable torch.compile for faster inference
python app.py --flag_do_torch_compile注意：Windows 和 macOS 不支持此方法。
或者，在 HuggingFace 上轻松尝试一下？
我们还提供了一个脚本来评估每个模块的推理速度：
# For NVIDIA GPU
python speed.py结果就在这里。
发现我们社区贡献的宝贵资源，以增强您的 LivePortrait 体验。
| 仓库（按创建时间戳排序） | 描述 | 作者 |
|---|---|---|
| 高级LivePortrait-WebUI | 基于专用渐变的 WebUI 从 ComfyUI-AdvancedLivePortrait 开始 | @jhj0517 |
| 脸戳 | 实时头部变换应用程序，由鼠标控制！ | @jbilcke-hf |
| 人脸融合 | FaceFusion 3.0 将LivePortrait 集成为expression_restorer和face_editor处理器。 | @henryruhs |
| SD-WebUI-实时肖像 | LivePortrait 的 WebUI 扩展，将 atab 添加到原始的 Stable Diffusion WebUI 中，以受益于 LivePortrait 功能。 | @dimitribarbot |
| ComfyUI-LivePortraitKJ | 使用 LivePortrait 的 ComfyUI 节点，使用 MediaPipe 作为 Insightface 的替代品。 | @kijai |
| ComfyUI-高级实时肖像 | 具有实时预览功能的更快 ComfyUI 节点启发了许多其他社区开发的工具和项目。 | @PowerHouseMan |
| comfyui liveportrait | 一个使用LivePortrait的ComfyUI节点，支持多脸、表情插值等，并附有教程。 | @shadowcz007 |
我们社区做出了如此多令人惊叹的贡献，太多了，无法一一列举？
我们要感谢 FOMM、Open Facevid2vid、SPADE、InsightFace 和 X-Pose 存储库的贡献者的开放研究和贡献。
肖像动画技术伴随着社会风险，尤其是在创建深度赝品时被滥用的可能性。为了减轻这些风险，遵循道德准则并采取负责任的使用实践至关重要。目前，合成结果包含可能有助于检测深度赝品的视觉伪影。请注意，我们对本项目产生的结果的使用不承担任何法律责任。
如果您发现 LivePortrait 对您的研究有用，欢迎来到？这个 repo 并使用以下 BibTeX 引用我们的工作：
@article { guo2024liveportrait ,
title = { LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control } ,
author = { Guo, Jianzhu and Zhang, Dingyun and Liu, Xiaoqiang and Zhong, Zhizhou and Zhang, Yuan and Wan, Pengfei and Zhang, Di } ,
journal = { arXiv preprint arXiv:2407.03168 } ,
year = { 2024 }
}郭建珠; [email protected]
