FasterLivePortrait : donnez vie à vos portraits en temps réel !

Anglais | Chine

Dépôt original : LivePortrait, merci aux auteurs pour le partage

Nouvelles fonctionnalités :

Exécution en temps réel de LivePortrait sur le GPU RTX 3090 à l'aide de TensorRT, atteignant des vitesses de plus de 30 FPS. Il s'agit de la vitesse de rendu d'une seule image, y compris le pré- et post-traitement, et pas seulement de la vitesse d'inférence du modèle.
Implémentation de la conversion du modèle LivePortrait en modèle Onnx, atteignant une vitesse d'inférence d'environ 70 ms/image (~ 12 FPS) à l'aide de onnxruntime-gpu sur RTX 3090, facilitant le déploiement multiplateforme.
Prise en charge transparente de l'application gradio native, avec une vitesse plusieurs fois plus rapide et prise en charge de l'inférence simultanée sur plusieurs visages et modèles animaux.

Si vous trouvez ce projet utile, merci de lui donner une étoile ✨✨

8.10.2.mp4

résultat2.mp4

Journal des modifications

11/08/2024 : optimisation de la vitesse de Paste_back et correction de quelques bugs.
- Utilisation de torchgeometry + cuda pour optimiser la fonction paste_back, améliorant considérablement la vitesse. Exemple : python run.py --src_image assets/examples/source/s39.jpg --dri_video assets/examples/driving/d0.mp4 --cfg configs/trt_infer.yaml --paste_back --animal
- Correction de problèmes avec les opérations Xpose provoquant des erreurs sur certains GPU et d'autres bugs. Veuillez utiliser la dernière image Docker : docker pull shaoguo/faster_liveportrait:v3
07/08/2024 : Ajout de la prise en charge des modèles animaux et des modèles MediaPipe, vous n'avez donc plus à vous soucier des problèmes de droits d'auteur.
- Ajout de la prise en charge des modèles animaux.
  - Téléchargez le fichier animal ONNX : huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints , puis convertissez-le au format TRT.
  - Mettez à jour l'image Docker : docker pull shaoguo/faster_liveportrait:v3 . Utilisation d'un modèle animal : python run.py --src_image assets/examples/source/s39.jpg --dri_video 0 --cfg configs/trt_infer.yaml --realtime --animal
  - Les utilisateurs Windows peuvent télécharger le dernier package Windows tout-en-un à partir de la page de version, puis le décompresser et l'utiliser.
  - Tutoriel d'utilisation simple :
  0807-3.mp4
- Utilisation du modèle MediaPipe pour remplacer InsightFace
  - Pour une utilisation Web : python app.py --mode trt --mp ou python app.py --mode onnx --mp
  - Pour la webcam locale : python run.py --src_image assets/examples/source/s12.jpg --dri_video 0 --cfg configs/trt_mp_infer.yaml
2024/07/24 : package d'intégration Windows, aucune installation requise, exécution en un clic, prend en charge TensorRT et OnnxruntimeGPU. Merci à @zhanghongyong123456 pour sa contribution à ce numéro.
- [Facultatif] Si vous avez déjà installé CUDA et cuDNN sur votre ordinateur Windows, veuillez ignorer cette étape. Je n'ai vérifié que sur CUDA 12.2. Si vous n'avez pas installé CUDA ou si vous rencontrez des erreurs liées à CUDA, vous devez suivre ces étapes :
  - Téléchargez CUDA 12.2, double-cliquez sur l'exe et installez-le en suivant les paramètres par défaut étape par étape.
  - Téléchargez le fichier zip cuDNN, extrayez-le et copiez les dossiers lib, bin et include du dossier cuDNN vers le dossier CUDA 12.2 (la valeur par défaut est C:Program FilesNVIDIA GPU Computing ToolkitCUDAv12.2)
- Téléchargez le package d'intégration Windows sans installation à partir de la page de version et extrayez-le.
- Entrez FasterLivePortrait-windows et double-cliquez sur all_onnx2trt.bat pour convertir les fichiers onnx, ce qui prendra un certain temps.
- Pour une démo Web : double-cliquez sur app.bat , ouvrez la page Web : http://localhost:9870/
- Pour le fonctionnement de la caméra en temps réel, double-cliquez sur camera.bat et appuyez sur q pour arrêter. Si vous souhaitez modifier l'image cible, exécutez en ligne de commande : camera.bat assets/examples/source/s9.jpg
18/07/2024 : Ajout du support macOS (Pas besoin de Docker, Python suffit). Les puces M1/M2 sont plus rapides, mais c'est quand même assez lent ?
- Installer ffmpeg : brew install ffmpeg
- Configurez un environnement virtuel Python 3.10. Recommander d'utiliser miniforge : conda create -n flip python=3.10 && conda activate flip
- Exigences d'installation : pip install -r requirements_macos.txt
- Téléchargez les fichiers ONNX : huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints
- Test : python app.py --mode onnx
17/07/2024 : Ajout de la prise en charge de l'environnement Docker, fournissant une image exécutable.

Configuration de l'environnement

Option 1 : Docker (recommandé). Une image Docker est fournie pour éliminer le besoin d'installer manuellement onnxruntime-gpu et TensorRT.
- Installez Docker en fonction de votre système
- Téléchargez l'image : docker pull shaoguo/faster_liveportrait:v3
- Exécutez la commande, remplacez $FasterLivePortrait_ROOT par le répertoire local dans lequel vous avez téléchargé FasterLivePortrait :
```
docker run -it --gpus=all 
--name faster_liveportrait 
-v $FasterLivePortrait_ROOT :/root/FasterLivePortrait 
--restart=always 
-p 9870:9870 
shaoguo/faster_liveportrait:v3 
/bin/bash
```
Option 2 : créez un nouvel environnement virtuel Python et installez manuellement les packages Python nécessaires.
- Tout d'abord, installez ffmpeg
- Exécutez pip install -r requirements.txt
- Suivez ensuite les tutoriels ci-dessous pour installer onnxruntime-gpu ou TensorRT. Notez que cela n'a été testé que sur les systèmes Linux.

Inférence Onnxruntime

Tout d’abord, téléchargez les fichiers du modèle Onnx convertis : huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints .
(Ignoré dans Docker) Si vous souhaitez utiliser l'inférence CPU onnxruntime, pip install onnxruntime . Cependant, l’inférence CPU est extrêmement lente et n’est pas recommandée. Le dernier onnxruntime-gpu ne prend toujours pas en charge grid_sample cuda, mais j'ai trouvé une branche qui le prend en charge. Suivez ces étapes pour installer onnxruntime-gpu à partir des sources :
- git clone https://github.com/microsoft/onnxruntime
- git checkout liqun/ImageDecoder-cuda . Merci à liqun pour l'implémentation de grid_sample avec cuda !
- Exécutez les commandes suivantes pour compiler, en modifiant cuda_version et CMAKE_CUDA_ARCHITECTURES en fonction de votre machine :
```
./build.sh --parallel 
--build_shared_lib --use_cuda 
--cuda_version 11.8 
--cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda/ 
--config Release --build_wheel --skip_tests 
--cmake_extra_defines CMAKE_CUDA_ARCHITECTURES= " 60;70;75;80;86 " 
--cmake_extra_defines CMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc 
--disable_contrib_ops 
--allow_running_as_root
```
- pip install build/Linux/Release/dist/onnxruntime_gpu-1.17.0-cp310-cp310-linux_x86_64.whl

Testez le pipeline à l'aide d'onnxruntime :

  python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video assets/examples/driving/d14.mp4 
 --cfg configs/onnx_infer.yaml

Inférence TensorRT

(Ignoré dans Docker) Installez TensorRT. N'oubliez pas le chemin d'installation de TensorRT.
(Ignoré dans Docker) Installez le plug-in Grid_sample TensorRT, car le modèle utilise un exemple de grille qui nécessite une entrée 5D, ce qui n'est pas pris en charge par l'opérateur natif grid_sample.
- git clone https://github.com/SeanWangJS/grid-sample3d-trt-plugin
- Modifiez la ligne 30 dans CMakeLists.txt en : set_target_properties(${PROJECT_NAME} PROPERTIES CUDA_ARCHITECTURES "60;70;75;80;86")
- export PATH=/usr/local/cuda/bin:$PATH
- mkdir build && cd build
- cmake .. -DTensorRT_ROOT=$TENSORRT_HOME , remplacez $TENSORRT_HOME par votre propre répertoire racine TensorRT.
- make , rappelez-vous l'adresse du fichier .so, remplacez /opt/grid-sample3d-trt-plugin/build/libgrid_sample_3d_plugin.so dans scripts/onnx2trt.py et src/models/predictor.py par votre propre chemin de fichier .so
Téléchargez les fichiers du modèle ONNX : huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints . Convertissez tous les modèles ONNX en TensorRT, exécutez sh scripts/all_onnx2trt.sh et sh scripts/all_onnx2trt_animal.sh

Testez le pipeline à l'aide de tensorrt :

 python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video assets/examples/driving/d14.mp4 
 --cfg configs/trt_infer.yaml

Pour exécuter en temps réel à l'aide d'une caméra :

 python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video 0 
 --cfg configs/trt_infer.yaml 
 --realtime

Application Gradio

onnxruntime : python app.py --mode onnx
tensorrt : python app.py --mode trt
Le port par défaut est 9870. Ouvrez la page Web : http://localhost:9870/

Sur moi

Suivez ma chaîne shipinhao pour des mises à jour continues sur mon contenu AIGC. N'hésitez pas à m'envoyer un message pour des opportunités de collaboration.

Développer

Informations supplémentaires