更快的实时肖像

FasterLivePortrait：实时使肖像栩栩如生！

英语 | 中文

原始仓库：LivePortrait，感谢作者分享

新功能：

• 使用TensorRT在RTX 3090 GPU上实现LivePortrait的实时运行，达到30+ FPS的速度。这是渲染单帧的速度，包括预处理和后处理，而不仅仅是模型推理速度。
• 实现了 LivePortrait 模型到 Onnx 模型的转换，在 RTX 3090 上使用 onnxruntime-gpu 实现约 70ms/frame (~12 FPS) 的推理速度，方便跨平台部署。
• 无缝支持原生gradio应用程序，速度提高数倍，并支持多面和动物模型同时推理。

如果您觉得这个项目有用，请给它一个star✨✨

8.10.2.mp4

结果2.mp4

变更日志

• 2024/08/11：优化了paste_back速度并修复了一些错误。
  • 使用torchgeometry + cuda优化paste_back函数，显着提高速度。示例： python run.py --src_image assets/examples/source/s39.jpg --dri_video assets/examples/driving/d0.mp4 --cfg configs/trt_infer.yaml --paste_back --animal
  • 修复了 Xpose 操作导致某些 GPU 出现错误和其他错误的问题。请使用最新的docker镜像： docker pull shaoguo/faster_liveportrait:v3
• 2024/08/07：新增对动物模型和MediaPipe模型的支持，不再需要担心版权问题。

  • 添加了对动物模型的支持。

    • 下载动物ONNX文件： huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints ，然后将其转换为TRT格式。
    • 更新 Docker 镜像： docker pull shaoguo/faster_liveportrait:v3 。使用动物模型： python run.py --src_image assets/examples/source/s39.jpg --dri_video 0 --cfg configs/trt_infer.yaml --realtime --animal
    • Windows用户可以从发布页面下载最新的Windows一体机包，然后解压并使用。
    • 简单使用教程：
    0807-3.mp4

  • 使用MediaPipe模型替代InsightFace

    • 对于 Web 使用： python app.py --mode trt --mp或python app.py --mode onnx --mp
    • 对于本地网络摄像头： python run.py --src_image assets/examples/source/s12.jpg --dri_video 0 --cfg configs/trt_mp_infer.yaml
• 2024/07/24： Windows集成包，无需安装，一键运行，支持TensorRT和OnnxruntimeGPU。感谢@zhanghongyong123456 对本期的贡献。
  • [可选]如果您的Windows计算机上已经安装了CUDA和cuDNN，请跳过此步骤。我只在 CUDA 12.2 上验证过。如果您尚未安装CUDA或遇到CUDA相关错误，则需要按照以下步骤操作：
    • 下载CUDA 12.2，双击exe，按照默认设置一步步安装。
    • 下载 cuDNN zip 文件，解压，然后将 cuDNN 文件夹中的 lib、bin 和 include 文件夹复制到 CUDA 12.2 文件夹（默认位置为 C:Program FilesNVIDIA GPU Compute ToolkitCUDAv12.2）
  • 从发布页面下载免安装的Windows集成包并解压。
  • 进入FasterLivePortrait-windows ，双击all_onnx2trt.bat转换onnx文件，需要一些时间。
  • Web 演示：双击app.bat ，打开网页： http://localhost:9870/
  • 对于实时相机操作，双击camera.bat ，按q停止。如果要更改目标图像，请在命令行中运行： camera.bat assets/examples/source/s9.jpg
• 2024/07/18：添加了 macOS 支持（不需要 Docker，Python 就足够了）。 M1/M2 芯片速度更快，但仍然很慢？
  • 安装ffmpeg： brew install ffmpeg
  • 设置Python 3.10虚拟环境。推荐使用 miniforge： conda create -n flip python=3.10 && conda activate flip
  • 安装要求： pip install -r requirements_macos.txt
  • 下载 ONNX 文件： huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints
  • 测试： python app.py --mode onnx
• 2024/07/17：增加了对Docker环境的支持，提供可运行的镜像。

环境设置

• 选项1：Docker（推荐）。提供了docker镜像，无需手动安装onnxruntime-gpu和TensorRT。
  • 根据你的系统安装Docker
  • 下载镜像： docker pull shaoguo/faster_liveportrait:v3
  • 执行命令，将$FasterLivePortrait_ROOT替换为您下载 FasterLivePortrait 的本地目录：

  docker run -it --gpus=all 
  --name faster_liveportrait 
  -v $FasterLivePortrait_ROOT :/root/FasterLivePortrait 
  --restart=always 
  -p 9870:9870 
  shaoguo/faster_liveportrait:v3 
  /bin/bash

• 选项 2：创建新的 Python 虚拟环境并手动安装必要的 Python 包。
  • 首先，安装ffmpeg
  • 运行pip install -r requirements.txt
  • 然后按照以下教程安装 onnxruntime-gpu 或 TensorRT。请注意，这仅在 Linux 系统上进行了测试。

Onnx运行时推理

• 首先，下载转换后的 onnx 模型文件： huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints 。
• （在 Docker 中被忽略）如果你想使用 onnxruntime cpu 推理，只需pip install onnxruntime 。但是，cpu 推理速度极慢，不推荐使用。最新的onnxruntime-gpu仍然不支持grid_sample cuda，但我找到了支持它的分支。请按照以下步骤从源安装onnxruntime-gpu ：
  • git clone https://github.com/microsoft/onnxruntime
  • git checkout liqun/ImageDecoder-cuda 。感谢liqun提供带有cuda实现的grid_sample！
  • 运行以下命令进行编译，根据您的机器更改cuda_version和CMAKE_CUDA_ARCHITECTURES ：

  ./build.sh --parallel 
  --build_shared_lib --use_cuda 
  --cuda_version 11.8 
  --cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda/ 
  --config Release --build_wheel --skip_tests 
  --cmake_extra_defines CMAKE_CUDA_ARCHITECTURES= " 60;70;75;80;86 " 
  --cmake_extra_defines CMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc 
  --disable_contrib_ops 
  --allow_running_as_root

  • pip install build/Linux/Release/dist/onnxruntime_gpu-1.17.0-cp310-cp310-linux_x86_64.whl
• 使用 onnxruntime 测试管道：

    python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video assets/examples/driving/d14.mp4 
   --cfg configs/onnx_infer.yaml
  

TensorRT 推理

• （在 Docker 中被忽略）安装 TensorRT。记住TensorRT的安装路径。
• （在 Docker 中被忽略）安装 grid_sample TensorRT 插件，因为模型使用需要 5D 输入的网格样本，原生 grid_sample 运算符不支持。
  • git clone https://github.com/SeanWangJS/grid-sample3d-trt-plugin
  • 将CMakeLists.txt中的第 30 行修改为： set_target_properties(${PROJECT_NAME} PROPERTIES CUDA_ARCHITECTURES "60;70;75;80;86")
  • export PATH=/usr/local/cuda/bin:$PATH
  • mkdir build && cd build
  • cmake .. -DTensorRT_ROOT=$TENSORRT_HOME ，将 $TENSORRT_HOME 替换为您自己的 TensorRT 根目录。
  • make ，记住.so文件的地址，将scripts/onnx2trt.py和src/models/predictor.py中的/opt/grid-sample3d-trt-plugin/build/libgrid_sample_3d_plugin.so替换为自己的.so文件路径
• 下载ONNX模型文件： huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints 。将所有ONNX模型转换为TensorRT，运行sh scripts/all_onnx2trt.sh和sh scripts/all_onnx2trt_animal.sh
• 使用tensorrt测试管道：

   python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video assets/examples/driving/d14.mp4 
   --cfg configs/trt_infer.yaml

• 要使用摄像头实时运行：

   python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video 0 
   --cfg configs/trt_infer.yaml 
   --realtime

调音台应用程序

• onnxruntime: python app.py --mode onnx
• 张量： python app.py --mode trt
• 默认端口为9870，打开网页： http://localhost:9870/

关于我

关注我的shipinhao频道，持续更新我的AIGC内容。欢迎给我留言寻求合作机会。