FasterLivePortrait: Erwecken Sie Porträts in Echtzeit zum Leben!

Englisch | 中文

Ursprüngliches Repository: LivePortrait, vielen Dank an die Autoren für das Teilen

Neue Funktionen:

Mit TensorRT konnte LivePortrait auf der RTX 3090-GPU in Echtzeit ausgeführt werden, wobei Geschwindigkeiten von über 30 FPS erreicht wurden. Dabei handelt es sich um die Geschwindigkeit zum Rendern eines einzelnen Frames, einschließlich Vor- und Nachbearbeitung, nicht nur um die Modellinferenzgeschwindigkeit.
Implementierung der Konvertierung des LivePortrait-Modells in das Onnx-Modell, wodurch mit onnxruntime-gpu auf RTX 3090 eine Inferenzgeschwindigkeit von etwa 70 ms/Frame (~12 FPS) erreicht wurde, was die plattformübergreifende Bereitstellung erleichtert.
Nahtlose Unterstützung für die native Gradio-App mit um ein Vielfaches schnellerer Geschwindigkeit und Unterstützung für gleichzeitige Rückschlüsse auf mehrere Gesichter und Tiermodelle.

Wenn Sie dieses Projekt nützlich finden, geben Sie ihm bitte einen Stern ✨✨

8.10.2.mp4

result2.mp4

Änderungsprotokoll

11.08.2024: Paste_back-Geschwindigkeit optimiert und einige Fehler behoben.
- Verwendung von Torchgeometry + Cuda zur Optimierung der Paste_back-Funktion, wodurch die Geschwindigkeit erheblich verbessert wurde. Beispiel: python run.py --src_image assets/examples/source/s39.jpg --dri_video assets/examples/driving/d0.mp4 --cfg configs/trt_infer.yaml --paste_back --animal
- Probleme mit Xpose-Operationen behoben, die zu Fehlern auf einigen GPUs und anderen Bugs führten. Bitte verwenden Sie das neueste Docker-Image: docker pull shaoguo/faster_liveportrait:v3
07.08.2024: Unterstützung für Tiermodelle und MediaPipe-Modelle hinzugefügt, sodass Sie sich keine Sorgen mehr über Urheberrechtsprobleme machen müssen.
- Unterstützung für Tiermodelle hinzugefügt.
  - Laden Sie die Tier-ONNX-Datei herunter: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints und konvertieren Sie sie dann in das TRT-Format.
  - Aktualisieren Sie das Docker-Image: docker pull shaoguo/faster_liveportrait:v3 . Tiermodell verwenden: python run.py --src_image assets/examples/source/s39.jpg --dri_video 0 --cfg configs/trt_infer.yaml --realtime --animal
  - Windows-Benutzer können das neueste Windows-Komplettpaket von der Release-Seite herunterladen, es dann entpacken und verwenden.
  - Einfaches Tutorial zur Verwendung:
  0807-3.mp4
- Verwenden des MediaPipe-Modells als Ersatz für InsightFace
  - Für die Webnutzung: python app.py --mode trt --mp oder python app.py --mode onnx --mp
  - Für lokale Webcam: python run.py --src_image assets/examples/source/s12.jpg --dri_video 0 --cfg configs/trt_mp_infer.yaml
24.07.2024: Windows-Integrationspaket, keine Installation erforderlich, Ein-Klick-Ausführung, unterstützt TensorRT und OnnxruntimeGPU. Vielen Dank an @zhanghongyong123456 für seinen Beitrag in dieser Ausgabe.
- [Optional] Wenn Sie CUDA und cuDNN bereits auf Ihrem Windows-Computer installiert haben, überspringen Sie bitte diesen Schritt. Ich habe nur CUDA 12.2 überprüft. Wenn Sie CUDA nicht installiert haben oder CUDA-bezogene Fehler auftreten, müssen Sie die folgenden Schritte ausführen:
  - Laden Sie CUDA 12.2 herunter, doppelklicken Sie auf die Exe-Datei und installieren Sie sie, indem Sie Schritt für Schritt den Standardeinstellungen folgen.
  - Laden Sie die cuDNN-ZIP-Datei herunter, extrahieren Sie sie und kopieren Sie die Ordner lib, bin und include aus dem Ordner cuDNN in den Ordner CUDA 12.2 (Standard ist C:ProgrammeNVIDIA GPU Computing ToolkitCUDAv12.2).
- Laden Sie das installationsfreie Windows-Integrationspaket von der Release-Seite herunter und extrahieren Sie es.
- Geben Sie FasterLivePortrait-windows ein und doppelklicken Sie auf all_onnx2trt.bat um ONNX-Dateien zu konvertieren, was einige Zeit dauern wird.
- Für eine Web-Demo: Doppelklicken Sie auf app.bat und öffnen Sie die Webseite: http://localhost:9870/
- Für den Kamerabetrieb in Echtzeit doppelklicken Sie auf camera.bat und drücken Sie q , um den Vorgang zu stoppen. Wenn Sie das Zielbild ändern möchten, führen Sie in der Befehlszeile Folgendes aus: camera.bat assets/examples/source/s9.jpg
18.07.2024: macOS-Unterstützung hinzugefügt (Docker ist nicht erforderlich, Python reicht aus). M1/M2-Chips sind schneller, aber immer noch ziemlich langsam?
- ffmpeg installieren: brew install ffmpeg
- Richten Sie eine virtuelle Python 3.10-Umgebung ein. Empfehlen Sie die Verwendung von Miniforge: conda create -n flip python=3.10 && conda activate flip
- Installationsanforderungen: pip install -r requirements_macos.txt
- Laden Sie ONNX-Dateien herunter: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints
- Test: python app.py --mode onnx
17.07.2024: Unterstützung für die Docker-Umgebung hinzugefügt, wodurch ein ausführbares Image bereitgestellt wird.

Umgebungseinrichtung

Option 1: Docker (empfohlen). Es wird ein Docker-Image bereitgestellt, um die manuelle Installation von onnxruntime-gpu und TensorRT zu vermeiden.
- Installieren Sie Docker entsprechend Ihrem System
- Laden Sie das Bild herunter: docker pull shaoguo/faster_liveportrait:v3
- Führen Sie den Befehl aus und ersetzen Sie $FasterLivePortrait_ROOT durch das lokale Verzeichnis, in das Sie FasterLivePortrait heruntergeladen haben:
```
docker run -it --gpus=all 
--name faster_liveportrait 
-v $FasterLivePortrait_ROOT :/root/FasterLivePortrait 
--restart=always 
-p 9870:9870 
shaoguo/faster_liveportrait:v3 
/bin/bash
```
Option 2: Erstellen Sie eine neue virtuelle Python-Umgebung und installieren Sie die erforderlichen Python-Pakete manuell.
- Installieren Sie zunächst ffmpeg
- Führen Sie pip install -r requirements.txt aus
- Befolgen Sie dann die folgenden Tutorials, um onnxruntime-gpu oder TensorRT zu installieren. Beachten Sie, dass dies nur auf Linux-Systemen getestet wurde.

Onnxruntime-Inferenz

Laden Sie zunächst die konvertierten Onnx-Modelldateien herunter: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints .
(In Docker ignoriert) Wenn Sie die Onnxruntime-CPU-Inferenz verwenden möchten, pip install onnxruntime . Allerdings ist die CPU-Inferenz extrem langsam und wird nicht empfohlen. Die neueste Version von onnxruntime-gpu unterstützt Grid_sample cuda immer noch nicht, aber ich habe einen Zweig gefunden, der dies unterstützt. Befolgen Sie diese Schritte, um onnxruntime-gpu von der Quelle zu installieren:
- git clone https://github.com/microsoft/onnxruntime
- git checkout liqun/ImageDecoder-cuda . Vielen Dank an liqun für die Grid_sample mit Cuda-Implementierung!
- Führen Sie zum Kompilieren die folgenden Befehle aus und ändern Sie cuda_version und CMAKE_CUDA_ARCHITECTURES entsprechend Ihrem Computer:
```
./build.sh --parallel 
--build_shared_lib --use_cuda 
--cuda_version 11.8 
--cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda/ 
--config Release --build_wheel --skip_tests 
--cmake_extra_defines CMAKE_CUDA_ARCHITECTURES= " 60;70;75;80;86 " 
--cmake_extra_defines CMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc 
--disable_contrib_ops 
--allow_running_as_root
```
- pip install build/Linux/Release/dist/onnxruntime_gpu-1.17.0-cp310-cp310-linux_x86_64.whl

Testen Sie die Pipeline mit onnxruntime:

  python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video assets/examples/driving/d14.mp4 
 --cfg configs/onnx_infer.yaml

TensorRT-Inferenz

(In Docker ignoriert) TensorRT installieren. Merken Sie sich den Installationspfad von TensorRT.
(In Docker ignoriert) Installieren Sie das Grid_sample-TensorRT-Plugin, da das Modell ein Grid-Sample verwendet, das eine 5D-Eingabe erfordert, die vom nativen Grid_sample-Operator nicht unterstützt wird.
- git clone https://github.com/SeanWangJS/grid-sample3d-trt-plugin
- Ändern Sie Zeile 30 in CMakeLists.txt in: set_target_properties(${PROJECT_NAME} PROPERTIES CUDA_ARCHITECTURES "60;70;75;80;86")
- export PATH=/usr/local/cuda/bin:$PATH
- mkdir build && cd build
- cmake .. -DTensorRT_ROOT=$TENSORRT_HOME , ersetzen Sie $TENSORRT_HOME durch Ihr eigenes TensorRT-Stammverzeichnis.
- make , merken Sie sich die Adresse der .so-Datei, ersetzen Sie /opt/grid-sample3d-trt-plugin/build/libgrid_sample_3d_plugin.so in scripts/onnx2trt.py und src/models/predictor.py durch Ihren eigenen .so-Dateipfad
Laden Sie ONNX-Modelldateien herunter: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints . Konvertieren Sie alle ONNX-Modelle in TensorRT, führen Sie sh scripts/all_onnx2trt.sh und sh scripts/all_onnx2trt_animal.sh aus

Testen Sie die Pipeline mit tensorrt:

 python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video assets/examples/driving/d14.mp4 
 --cfg configs/trt_infer.yaml

So laufen Sie in Echtzeit mit einer Kamera:

 python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video 0 
 --cfg configs/trt_infer.yaml 
 --realtime

Gradio-App

onnxruntime: python app.py --mode onnx
tensorrt: python app.py --mode trt
Der Standardport ist 9870. Öffnen Sie die Webseite: http://localhost:9870/

Über mich

Folgen Sie meinem Shipinhao-Kanal, um fortlaufend über meine AIGC-Inhalte informiert zu werden. Für Möglichkeiten zur Zusammenarbeit können Sie mir gerne eine Nachricht senden.

Expandieren

Zusätzliche Informationen