更快的即時肖像

FasterLivePortrait：即時讓肖像栩栩如生！

英語 | 中文

原始倉庫：LivePortrait，感謝作者分享

新功能：

• 使用TensorRT在RTX 3090 GPU上實現LivePortrait的即時運行，達到30+ FPS的速度。這是渲染單幀的速度，包括預處理和後處理，而不僅僅是模型推理速度。
• 實作了 LivePortrait 模型到 Onnx 模型的轉換，在 RTX 3090 上使用 onnxruntime-gpu 實現約 70ms/frame (~12 FPS) 的推理速度，方便跨平台部署。
• 無縫支援原生gradio應用程序，速度提高數倍，並支援多面和動物模型同時推理。

如果您覺得這個專案有用，請給它一個star✨✨

8.10.2.mp4

結果2.mp4

變更日誌

• 2024/08/11：優化了paste_back速度並修復了一些錯誤。
  • 使用torchgeometry + cuda優化paste_back函數，顯著提高速度。範例： python run.py --src_image assets/examples/source/s39.jpg --dri_video assets/examples/driving/d0.mp4 --cfg configs/trt_infer.yaml --paste_back --animal
  • 修正了 Xpose 操作導致某些 GPU 出現錯誤和其他錯誤的問題。請使用最新的docker映像： docker pull shaoguo/faster_liveportrait:v3
• 2024/08/07：新增對動物模型和MediaPipe模型的支持，不再需要擔心版權問題。

  • 增加了對動物模型的支持。

    • 下載動物 ONNX檔： huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints ，然後將其轉換為TRT格式。
    • 更新 Docker 映像： docker pull shaoguo/faster_liveportrait:v3 。使用動物模型： python run.py --src_image assets/examples/source/s39.jpg --dri_video 0 --cfg configs/trt_infer.yaml --realtime --animal
    • Windows使用者可以從發布頁面下載最新的Windows一體機包，然後解壓縮並使用。
    • 簡單使用教學：
    0807-3.mp4

  • 使用MediaPipe模型取代InsightFace

    • 對於 Web 使用： python app.py --mode trt --mp或python app.py --mode onnx --mp
    • 對於本機網路攝影機： python run.py --src_image assets/examples/source/s12.jpg --dri_video 0 --cfg configs/trt_mp_infer.yaml
• 2024/07/24： Windows整合包，無需安裝，一鍵運行，支援TensorRT和OnnxruntimeGPU。感謝@zhanghongyong123456 對本期的貢獻。
  • [選用]如果您的Windows電腦上已經安裝了CUDA和cuDNN，請跳過此步驟。我只在 CUDA 12.2 上驗證過。如果您尚未安裝CUDA或遇到CUDA相關錯誤，則需要依照下列步驟操作：
    • 下載CUDA 12.2，雙擊exe，依照預設設定一步步安裝。
    • 下載 cuDNN zip 文件，解壓縮，然後將 cuDNN 資料夾中的 lib、bin 和 include 資料夾複製到 CUDA 12.2 資料夾（預設位置為 C:Program FilesNVIDIA GPU Compute ToolkitCUDAv12.2）
  • 從發布頁面下載免安裝的Windows整合包並解壓縮。
  • 進入FasterLivePortrait-windows ，雙擊all_onnx2trt.bat轉換onnx文件，需要一些時間。
  • Web 示範：雙擊app.bat ，開啟網頁： http://localhost:9870/
  • 對於即時相機操作，雙擊camera.bat ，按q停止。如果要變更目標影像，請在命令列中執行： camera.bat assets/examples/source/s9.jpg
• 2024/07/18：新增了 macOS 支援（不需要 Docker，Python 就足夠了）。 M1/M2 晶片速度更快，但仍然很慢？
  • 安裝ffmpeg： brew install ffmpeg
  • 設定Python 3.10虛擬環境。建議使用 miniforge： conda create -n flip python=3.10 && conda activate flip
  • 安裝要求： pip install -r requirements_macos.txt
  • 下載 ONNX 檔案： huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints
  • 測試： python app.py --mode onnx
• 2024/07/17：增加了對Docker環境的支持，提供可運行的映像。

環境設定

• 選項1：Docker（建議）。
  • 根據你的系統安裝Docker
  • 下載映像： docker pull shaoguo/faster_liveportrait:v3
  • 執行指令，將$FasterLivePortrait_ROOT替換為您下載 FasterLivePortrait 的本機目錄：

  docker run -it --gpus=all 
  --name faster_liveportrait 
  -v $FasterLivePortrait_ROOT :/root/FasterLivePortrait 
  --restart=always 
  -p 9870:9870 
  shaoguo/faster_liveportrait:v3 
  /bin/bash

• 選項 2：建立新的 Python 虛擬環境並手動安裝必要的 Python 套件。
  • 首先，安裝ffmpeg
  • 運行pip install -r requirements.txt
  • 然後按照以下教學安裝 onnxruntime-gpu 或 TensorRT。請注意，這僅在 Linux 系統上進行了測試。

Onnx運行時推理

• 首先，下載轉換後的 onnx 模型檔： huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints 。
• （在 Docker 中被忽略）如果你想使用 onnxruntime cpu 推理，只需pip install onnxruntime 。但是，cpu 推理速度極慢，不建議使用。最新的onnxruntime-gpu仍然不支援grid_sample cuda，但我找到了支援它的分支。請依照下列步驟從來源安裝onnxruntime-gpu ：
  • git clone https://github.com/microsoft/onnxruntime
  • git checkout liqun/ImageDecoder-cuda 。感謝liqun提供帶有cuda實現的grid_sample！
  • 執行以下命令進行編譯，根據您的機器變更cuda_version和CMAKE_CUDA_ARCHITECTURES ：

  ./build.sh --parallel 
  --build_shared_lib --use_cuda 
  --cuda_version 11.8 
  --cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda/ 
  --config Release --build_wheel --skip_tests 
  --cmake_extra_defines CMAKE_CUDA_ARCHITECTURES= " 60;70;75;80;86 " 
  --cmake_extra_defines CMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc 
  --disable_contrib_ops 
  --allow_running_as_root

  • pip install build/Linux/Release/dist/onnxruntime_gpu-1.17.0-cp310-cp310-linux_x86_64.whl
• 使用 onnxruntime 測試管道：

    python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video assets/examples/driving/d14.mp4 
   --cfg configs/onnx_infer.yaml
  

TensorRT 推理

• （在 Docker 中被忽略）安裝 TensorRT。記住TensorRT的安裝路徑。
• （在 Docker 中被忽略）安裝 grid_sample TensorRT 插件，因為模型使用需要 5D 輸入的網格樣本，原生 grid_sample 運算子不支援。
  • git clone https://github.com/SeanWangJS/grid-sample3d-trt-plugin
  • 將CMakeLists.txt中的第 30 行修改為： set_target_properties(${PROJECT_NAME} PROPERTIES CUDA_ARCHITECTURES "60;70;75;80;86")
  • export PATH=/usr/local/cuda/bin:$PATH
  • mkdir build && cd build
  • cmake .. -DTensorRT_ROOT=$TENSORRT_HOME ，將 $TENSORRT_HOME 替換為您自己的 TensorRT 根目錄。
  • make ，記住.so檔案的位址，將scripts/onnx2trt.py和src/models/predictor.py中的/opt/grid-sample3d-trt-plugin/build/libgrid_sample_3d_plugin.so替換為自己的.so檔案路徑
• 下載ONNX模型檔： huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints 。將所有ONNX模型轉換為TensorRT，執行sh scripts/all_onnx2trt.sh和sh scripts/all_onnx2trt_animal.sh
• 使用tensorrt測試管道：

   python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video assets/examples/driving/d14.mp4 
   --cfg configs/trt_infer.yaml

• 要使用攝影機即時運行：

   python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video 0 
   --cfg configs/trt_infer.yaml 
   --realtime

混音器應用程式

• onnxruntime: python app.py --mode onnx
• 張量： python app.py --mode trt
• 預設連接埠為9870，開啟網頁： http://localhost:9870/

關於我

追蹤我的shipinhao頻道，持續更新我的AIGC內容。歡迎給我留言尋求合作機會。