FasterLiveポートレート

FasterLivePortrait: リアルタイムでポートレートに命を吹き込みます!

英語 | 中国語

元のリポジトリ: LivePortrait、共有してくれた作者に感謝

新機能:

• TensorRT を使用して RTX 3090 GPU で LivePortrait のリアルタイム実行を実現し、30 FPS 以上の速度に達しました。これは、モデルの推論速度だけでなく、前処理と後処理を含む単一フレームのレンダリングの速度です。
• LivePortrait モデルから Onnx モデルへの変換を実装し、RTX 3090 上の onnxruntime-gpu を使用して約 70 ミリ秒/フレーム (~12 FPS) の推論速度を達成し、クロスプラットフォームの展開を容易にしました。
• 数倍高速なネイティブ gradio アプリのシームレスなサポートと、複数の顔と動物モデルの同時推論のサポート。

このプロジェクトが役立つと思われた場合は、スターを付けてください✨✨

8.10.2.mp4

結果2.mp4

変更履歴

• 2024/08/11: past_back の速度を最適化し、いくつかのバグを修正しました。
  • torchgeometry + cuda を使用して、paste_back 関数を最適化し、速度を大幅に向上させました。例: python run.py --src_image assets/examples/source/s39.jpg --dri_video assets/examples/driving/d0.mp4 --cfg configs/trt_infer.yaml --paste_back --animal
  • 一部の GPU でエラーやその他のバグを引き起こす Xpose 操作の問題を修正しました。最新の Docker イメージを使用してください: docker pull shaoguo/faster_liveportrait:v3
• 2024/08/07:動物モデルと MediaPipe モデルのサポートが追加されたため、著作権の問題を心配する必要がなくなりました。

  • 動物モデルのサポートが追加されました。

    • 動物の ONNX ファイルをダウンロードします: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints 、TRT 形式に変換します。
    • Docker イメージを更新します: docker pull shaoguo/faster_liveportrait:v3 。動物モデルの使用: python run.py --src_image assets/examples/source/s39.jpg --dri_video 0 --cfg configs/trt_infer.yaml --realtime --animal
    • Windows ユーザーは、最新の Windows オールインワン パッケージをリリース ページからダウンロードし、解凍して使用できます。
    • 簡単な使用方法のチュートリアル:
    0807-3.mp4

  • MediaPipe モデルを使用して InsightFace を置き換える

    • Web で使用する場合: python app.py --mode trt --mpまたはpython app.py --mode onnx --mp
    • ローカル Web カメラの場合: python run.py --src_image assets/examples/source/s12.jpg --dri_video 0 --cfg configs/trt_mp_infer.yaml
• 2024/07/24: Windows 統合パッケージ、インストール不要、ワンクリックで実行、TensorRT と OnnxruntimeGPU をサポート。この問題に貢献してくれた @zhanghongyong123456 に感謝します。
  • [オプション] Windows コンピューターに CUDA と cuDNN をすでにインストールしている場合は、この手順をスキップしてください。 CUDA 12.2でのみ検証しました。 CUDA をインストールしていない場合、または CUDA 関連のエラーが発生した場合は、次の手順に従う必要があります。
    • CUDA 12.2 をダウンロードし、exe をダブルクリックして、デフォルト設定に従って段階的にインストールします。
    • cuDNN zip ファイルをダウンロードして解凍し、lib、bin、および include フォルダーを cuDNN フォルダーから CUDA 12.2 フォルダーにコピーします (デフォルトは C:Program FilesNVIDIA GPU Computing ToolkitCUDAv12.2)。
  • インストール不要の Windows 統合パッケージをリリース ページからダウンロードして解凍します。
  • FasterLivePortrait-windowsと入力し、 all_onnx2trt.batダブルクリックして onnx ファイルを変換します。これには時間がかかります。
  • Web デモの場合: app.batダブルクリックし、Web ページを開きます: http://localhost:9870/
  • リアルタイムカメラ操作の場合は、 camera.batダブルクリックし、 qを押して停止します。ターゲット画像を変更したい場合は、コマンドラインで次のコマンドを実行します： camera.bat assets/examples/source/s9.jpg
• 2024/07/18: macOS サポートを追加しました (Docker は必要ありません、Python で十分です)。 M1/M2 チップは高速ですが、それでもかなり遅いですか?
  • ffmpeg をインストールします: brew install ffmpeg
  • Python 3.10 仮想環境をセットアップします。 miniforge の使用をお勧めします: conda create -n flip python=3.10 && conda activate flip
  • インストール要件: pip install -r requirements_macos.txt
  • ONNX ファイルをダウンロードします。huggingface huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints
  • テスト: python app.py --mode onnx
• 2024/07/17: Docker 環境のサポートを追加し、実行可能なイメージを提供しました。

環境設定

• オプション 1: Docker (推奨)。onnxruntime-gpu と TensorRT を手動でインストールする必要をなくすために、Docker イメージが提供されます。
  • システムに応じて Docker をインストールする
  • イメージをダウンロードします: docker pull shaoguo/faster_liveportrait:v3
  • コマンドを実行し、 $FasterLivePortrait_ROOT FasterLivePortrait をダウンロードしたローカル ディレクトリに置き換えます。

  docker run -it --gpus=all 
  --name faster_liveportrait 
  -v $FasterLivePortrait_ROOT :/root/FasterLivePortrait 
  --restart=always 
  -p 9870:9870 
  shaoguo/faster_liveportrait:v3 
  /bin/bash

• オプション 2: 新しい Python 仮想環境を作成し、必要な Python パッケージを手動でインストールします。
  • まずはffmpegをインストールします
  • pip install -r requirements.txt実行します。
  • 次に、以下のチュートリアルに従って onnxruntime-gpu または TensorRT をインストールします。これは Linux システムでのみテストされていることに注意してください。

Onnxruntime 推論

• まず、変換された onnx モデル ファイルをダウンロードします ( huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints 。
• (Docker では無視されます) onnxruntime CPU 推論を使用する場合は、単にpip install onnxruntime 。ただし、CPU 推論は非常に遅いため、推奨されません。最新の onnxruntime-gpu はまだ Grid_sample cuda をサポートしていませんが、それをサポートするブランチを見つけました。ソースからonnxruntime-gpuインストールするには、次の手順に従います。
  • git clone https://github.com/microsoft/onnxruntime
  • git checkout liqun/ImageDecoder-cuda 。 cuda 実装を使用した Grid_sample を提供してくれた liqun に感謝します。
  • 次のコマンドを実行してコンパイルし、マシンに応じてcuda_versionとCMAKE_CUDA_ARCHITECTURESを変更します。

  ./build.sh --parallel 
  --build_shared_lib --use_cuda 
  --cuda_version 11.8 
  --cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda/ 
  --config Release --build_wheel --skip_tests 
  --cmake_extra_defines CMAKE_CUDA_ARCHITECTURES= " 60;70;75;80;86 " 
  --cmake_extra_defines CMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc 
  --disable_contrib_ops 
  --allow_running_as_root

  • pip install build/Linux/Release/dist/onnxruntime_gpu-1.17.0-cp310-cp310-linux_x86_64.whl
• onnxruntime を使用してパイプラインをテストします。

    python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video assets/examples/driving/d14.mp4 
   --cfg configs/onnx_infer.yaml
  

TensorRT 推論

• (Docker では無視されます) TensorRT をインストールします。 TensorRT のインストール パスを覚えておいてください。
• (Docker では無視されます) モデルは、ネイティブの Grid_sample オペレーターではサポートされていない 5D 入力を必要とするグリッド サンプルを使用するため、grid_sample TensorRT プラグインをインストールします。
  • git clone https://github.com/SeanWangJS/grid-sample3d-trt-plugin
  • CMakeLists.txtの 30 行目を次のように変更します: set_target_properties(${PROJECT_NAME} PROPERTIES CUDA_ARCHITECTURES "60;70;75;80;86")
  • export PATH=/usr/local/cuda/bin:$PATH
  • mkdir build && cd build
  • cmake .. -DTensorRT_ROOT=$TENSORRT_HOME 、 $TENSORRT_HOME を独自の TensorRT ルート ディレクトリに置き換えます。
  • make 、.so ファイルのアドレスを覚えておいて、 scripts/onnx2trt.pyおよびsrc/models/predictor.pyの/opt/grid-sample3d-trt-plugin/build/libgrid_sample_3d_plugin.soを独自の .so ファイル パスに置き換えます。
• ONNX モデル ファイルをダウンロードします: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints 。すべての ONNX モデルを TensorRT に変換し、 sh scripts/all_onnx2trt.shおよびsh scripts/all_onnx2trt_animal.shを実行します。
• tensorrt を使用してパイプラインをテストします。

   python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video assets/examples/driving/d14.mp4 
   --cfg configs/trt_infer.yaml

• カメラを使用してリアルタイムで実行するには:

   python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video 0 
   --cfg configs/trt_infer.yaml 
   --realtime

グラデーションアプリ

• onnxruntime: python app.py --mode onnx
• tensorrt: python app.py --mode trt
• デフォルトのポートは 9870 です。Web ページを開きます: http://localhost:9870/

私について

AIGC コンテンツの継続的な更新については、shipinhao チャンネルをフォローしてください。コラボレーションの機会については、お気軽にメッセージをください。