FasterLivePortrait: Dê vida aos retratos em tempo real!

Inglês | 中文

Repositório original: LivePortrait, obrigado aos autores pelo compartilhamento

Novos recursos:

Conseguiu execução em tempo real do LivePortrait na GPU RTX 3090 usando TensorRT, atingindo velocidades de mais de 30 FPS. Esta é a velocidade de renderização de um único quadro, incluindo pré e pós-processamento, e não apenas a velocidade de inferência do modelo.
Implementada a conversão do modelo LivePortrait para o modelo Onnx, alcançando velocidade de inferência de cerca de 70ms/frame (~12 FPS) usando onnxruntime-gpu no RTX 3090, facilitando a implantação entre plataformas.
Suporte perfeito para aplicativo gradio nativo, com velocidade várias vezes mais rápida e suporte para inferência simultânea em múltiplas faces e modelo animal.

Se você achar este projeto útil, dê uma estrela ✨✨

8.10.2.mp4

resultado2.mp4

Registro de alterações

11/08/2024: Velocidade paste_back otimizada e corrigidos alguns bugs.
- Usei torchgeometry + cuda para otimizar a função paste_back, melhorando significativamente a velocidade. Exemplo: python run.py --src_image assets/examples/source/s39.jpg --dri_video assets/examples/driving/d0.mp4 --cfg configs/trt_infer.yaml --paste_back --animal
- Corrigidos problemas com operações Xpose causando erros em algumas GPUs e outros bugs. Use a imagem mais recente do Docker: docker pull shaoguo/faster_liveportrait:v3
07/08/2024: Adicionado suporte para modelos animais e modelos MediaPipe, para que você não precise mais se preocupar com questões de direitos autorais.
- Adicionado suporte para modelos animais.
  - Baixe o arquivo ONNX do animal: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints e converta-o para o formato TRT.
  - Atualize a imagem do Docker: docker pull shaoguo/faster_liveportrait:v3 . Usando modelo animal: python run.py --src_image assets/examples/source/s39.jpg --dri_video 0 --cfg configs/trt_infer.yaml --realtime --animal
  - Os usuários do Windows podem baixar o pacote multifuncional mais recente do Windows na página de lançamento, descompactá-lo e usá-lo.
  - Tutorial de uso simples:
  0807-3.mp4
- Usando o modelo MediaPipe para substituir o InsightFace
  - Para uso na web: python app.py --mode trt --mp ou python app.py --mode onnx --mp
  - Para webcam local: python run.py --src_image assets/examples/source/s12.jpg --dri_video 0 --cfg configs/trt_mp_infer.yaml
2024/07/24: Pacote de integração do Windows, sem necessidade de instalação, execução com um clique, compatível com TensorRT e OnnxruntimeGPU. Obrigado a @zhanghongyong123456 pela sua contribuição nesta edição.
- [Opcional] Se você já instalou CUDA e cuDNN em seu computador Windows, pule esta etapa. Eu verifiquei apenas no CUDA 12.2. Se você não instalou o CUDA ou encontrou erros relacionados ao CUDA, siga estas etapas:
  - Baixe CUDA 12.2, clique duas vezes no exe e instale seguindo as configurações padrão passo a passo.
  - Baixe o arquivo zip cuDNN, extraia-o e copie as pastas lib, bin e include da pasta cuDNN para a pasta CUDA 12.2 (o padrão é C:Program FilesNVIDIA GPU Computing ToolkitCUDAv12.2)
- Baixe o pacote de integração do Windows sem instalação na página de lançamento e extraia-o.
- Entre no FasterLivePortrait-windows e clique duas vezes em all_onnx2trt.bat para converter arquivos onnx, o que levará algum tempo.
- Para demonstração na web: clique duas vezes em app.bat e abra a página da web: http://localhost:9870/
- Para operação da câmera em tempo real, clique duas vezes em camera.bat , pressione q para parar. Se você deseja alterar a imagem de destino, execute na linha de comando: camera.bat assets/examples/source/s9.jpg
18/07/2024: suporte para macOS adicionado (não há necessidade de Docker, Python é suficiente). Os chips M1/M2 são mais rápidos, mas ainda são bastante lentos?
- Instale o ffmpeg: brew install ffmpeg
- Configure um ambiente virtual Python 3.10. Recomendo usar miniforge: conda create -n flip python=3.10 && conda activate flip
- Requisitos de instalação: pip install -r requirements_macos.txt
- Baixe arquivos ONNX: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints
- Teste: python app.py --mode onnx
17/07/2024: Adicionado suporte para ambiente Docker, fornecendo uma imagem executável.

Configuração do ambiente

Opção 1: Docker (recomendado). Uma imagem docker é fornecida para eliminar a necessidade de instalar onnxruntime-gpu e TensorRT manualmente.
- Instale o Docker de acordo com o seu sistema
- Baixe a imagem: docker pull shaoguo/faster_liveportrait:v3
- Execute o comando, substitua $FasterLivePortrait_ROOT pelo diretório local onde você baixou o FasterLivePortrait:
```
docker run -it --gpus=all 
--name faster_liveportrait 
-v $FasterLivePortrait_ROOT :/root/FasterLivePortrait 
--restart=always 
-p 9870:9870 
shaoguo/faster_liveportrait:v3 
/bin/bash
```
Opção 2: Crie um novo ambiente virtual Python e instale manualmente os pacotes Python necessários.
- Primeiro, instale o ffmpeg
- Execute pip install -r requirements.txt
- Em seguida, siga os tutoriais abaixo para instalar onnxruntime-gpu ou TensorRT. Observe que isso só foi testado em sistemas Linux.

Inferência Onnxruntime

Primeiro, baixe os arquivos de modelo onnx convertidos: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints .
(Ignorado no Docker) Se você quiser usar a inferência de CPU onnxruntime, simplesmente pip install onnxruntime . No entanto, a inferência da CPU é extremamente lenta e não recomendada. O onnxruntime-gpu mais recente ainda não suporta grid_sample cuda, mas encontrei um branch que o suporta. Siga estas etapas para instalar onnxruntime-gpu da fonte:
- git clone https://github.com/microsoft/onnxruntime
- git checkout liqun/ImageDecoder-cuda . Obrigado ao liqun pelo grid_sample com implementação cuda!
- Execute os seguintes comandos para compilar, alterando cuda_version e CMAKE_CUDA_ARCHITECTURES de acordo com sua máquina:
```
./build.sh --parallel 
--build_shared_lib --use_cuda 
--cuda_version 11.8 
--cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda/ 
--config Release --build_wheel --skip_tests 
--cmake_extra_defines CMAKE_CUDA_ARCHITECTURES= " 60;70;75;80;86 " 
--cmake_extra_defines CMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc 
--disable_contrib_ops 
--allow_running_as_root
```
- pip install build/Linux/Release/dist/onnxruntime_gpu-1.17.0-cp310-cp310-linux_x86_64.whl

Teste o pipeline usando onnxruntime:

  python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video assets/examples/driving/d14.mp4 
 --cfg configs/onnx_infer.yaml

Inferência do TensorRT

(Ignorado no Docker) Instale o TensorRT. Lembre-se do caminho de instalação do TensorRT.
(Ignorado no Docker) Instale o plugin grid_sample TensorRT, pois o modelo usa amostra de grade que requer entrada 5D, que não é suportada pelo operador grid_sample nativo.
- git clone https://github.com/SeanWangJS/grid-sample3d-trt-plugin
- Modifique a linha 30 em CMakeLists.txt para: set_target_properties(${PROJECT_NAME} PROPERTIES CUDA_ARCHITECTURES "60;70;75;80;86")
- export PATH=/usr/local/cuda/bin:$PATH
- mkdir build && cd build
- cmake .. -DTensorRT_ROOT=$TENSORRT_HOME , substitua $TENSORRT_HOME pelo seu próprio diretório raiz do TensorRT.
- make , lembre-se do endereço do arquivo .so, substitua /opt/grid-sample3d-trt-plugin/build/libgrid_sample_3d_plugin.so em scripts/onnx2trt.py e src/models/predictor.py pelo seu próprio caminho de arquivo .so
Baixe os arquivos do modelo ONNX: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints . Converta todos os modelos ONNX para TensorRT, execute sh scripts/all_onnx2trt.sh e sh scripts/all_onnx2trt_animal.sh

Teste o pipeline usando tensorrt:

 python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video assets/examples/driving/d14.mp4 
 --cfg configs/trt_infer.yaml

Para executar em tempo real usando uma câmera:

 python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video 0 
 --cfg configs/trt_infer.yaml 
 --realtime

Aplicativo Gradio

onnxruntime: python app.py --mode onnx
tensorrt: python app.py --mode trt
A porta padrão é 9870. Abra a página da web: http://localhost:9870/

Sobre mim

Siga meu canal shipinhao para atualizações contínuas sobre meu conteúdo AIGC. Sinta-se à vontade para me enviar mensagens sobre oportunidades de colaboração.

Expandir

Informações adicionais