FasterLivePortrait: Hidupkan potret secara Real Time!

Bahasa Inggris | tidak

Repositori asli: LivePortrait, terima kasih kepada penulis karena telah berbagi

Fitur baru:

Mencapai LivePortrait yang dijalankan secara real-time pada GPU RTX 3090 menggunakan TensorRT, mencapai kecepatan 30+ FPS. Ini adalah kecepatan untuk merender satu frame, termasuk sebelum dan sesudah pemrosesan, bukan hanya kecepatan inferensi model.
Mengimplementasikan konversi model LivePortrait ke model Onnx, mencapai kecepatan inferensi sekitar 70ms/frame (~12 FPS) menggunakan onnxruntime-gpu di RTX 3090, memfasilitasi penerapan lintas platform.
Dukungan mulus untuk aplikasi gradio asli, dengan kecepatan beberapa kali lebih cepat dan dukungan untuk inferensi simultan pada banyak wajah dan Model Hewan.

Jika Anda merasa proyek ini bermanfaat, silakan beri bintang ✨✨

8.10.2.mp4

hasil2.mp4

log perubahan

2024/08/11: Mengoptimalkan kecepatan paste_back dan memperbaiki beberapa bug.
- Menggunakan torchgeometry + cuda untuk mengoptimalkan fungsi paste_back, sehingga meningkatkan kecepatan secara signifikan. Contoh: python run.py --src_image assets/examples/source/s39.jpg --dri_video assets/examples/driving/d0.mp4 --cfg configs/trt_infer.yaml --paste_back --animal
- Memperbaiki masalah pada operasi Xpose yang menyebabkan kesalahan pada beberapa GPU dan bug lainnya. Silakan gunakan gambar buruh pelabuhan terbaru: docker pull shaoguo/faster_liveportrait:v3
07/08/2024: Menambahkan dukungan untuk model hewan dan model MediaPipe, sehingga Anda tidak perlu lagi khawatir tentang masalah hak cipta.
- Menambahkan dukungan untuk model hewan.
  - Unduh file ONNX hewan: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints , lalu konversikan ke format TRT.
  - Perbarui gambar Docker: docker pull shaoguo/faster_liveportrait:v3 . Menggunakan model hewan: python run.py --src_image assets/examples/source/s39.jpg --dri_video 0 --cfg configs/trt_infer.yaml --realtime --animal
  - Pengguna Windows dapat mengunduh paket Windows all-in-one terbaru dari halaman rilis, lalu mengekstraknya dan menggunakannya.
  - Tutorial penggunaan sederhana:
  0807-3.mp4
- Menggunakan model MediaPipe untuk menggantikan InsightFace
  - Untuk penggunaan web: python app.py --mode trt --mp atau python app.py --mode onnx --mp
  - Untuk webcam lokal: python run.py --src_image assets/examples/source/s12.jpg --dri_video 0 --cfg configs/trt_mp_infer.yaml
24/07/2024: Paket integrasi Windows, tidak perlu instalasi, dijalankan sekali klik, mendukung TensorRT dan OnnxruntimeGPU. Terima kasih kepada @zhanghongyong123456 atas kontribusinya dalam edisi ini.
- [Opsional] Jika Anda sudah menginstal CUDA dan cuDNN di komputer Windows Anda, lewati langkah ini. Saya hanya memverifikasi di CUDA 12.2. Jika Anda belum menginstal CUDA atau mengalami kesalahan terkait CUDA, Anda perlu mengikuti langkah-langkah berikut:
  - Unduh CUDA 12.2, klik dua kali exe dan instal mengikuti pengaturan default langkah demi langkah.
  - Unduh file zip cuDNN, ekstrak, lalu salin folder lib, bin, dan include dari folder cuDNN ke folder CUDA 12.2 (defaultnya adalah C:Program FilesNVIDIA GPU Computing ToolkitCUDAv12.2)
- Unduh paket integrasi Windows bebas instalasi dari halaman rilis dan ekstrak.
- Masuk ke FasterLivePortrait-windows dan klik dua kali all_onnx2trt.bat untuk mengonversi file onnx, yang akan memakan waktu.
- Untuk demo web: Klik dua kali app.bat , buka halaman web: http://localhost:9870/
- Untuk pengoperasian kamera waktu nyata, klik dua kali camera.bat ,tekan q untuk berhenti. Jika Anda ingin mengubah gambar target, jalankan di baris perintah: camera.bat assets/examples/source/s9.jpg
2024/07/18: dukungan macOS ditambahkan (Tidak perlu Docker, Python sudah cukup). Chip M1/M2 lebih cepat, tetapi masih cukup lambat?
- Instal ffmpeg: brew install ffmpeg
- Siapkan lingkungan virtual Python 3.10. Rekomendasikan penggunaan miniforge: conda create -n flip python=3.10 && conda activate flip
- Persyaratan pemasangan: pip install -r requirements_macos.txt
- Unduh file ONNX: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints
- Tes: python app.py --mode onnx
17/07/2024: Menambahkan dukungan untuk lingkungan Docker, menyediakan image yang dapat dijalankan.

Pengaturan Lingkungan

Opsi 1: Docker (disarankan). Image buruh pelabuhan disediakan untuk menghilangkan kebutuhan menginstal onnxruntime-gpu dan TensorRT secara manual.
- Instal Docker sesuai dengan sistem Anda
- Unduh gambar: docker pull shaoguo/faster_liveportrait:v3
- Jalankan perintah, ganti $FasterLivePortrait_ROOT dengan direktori lokal tempat Anda mengunduh FasterLivePortrait:
```
docker run -it --gpus=all 
--name faster_liveportrait 
-v $FasterLivePortrait_ROOT :/root/FasterLivePortrait 
--restart=always 
-p 9870:9870 
shaoguo/faster_liveportrait:v3 
/bin/bash
```
Opsi 2: Buat lingkungan virtual Python baru dan instal paket Python yang diperlukan secara manual.
- Pertama, instal ffmpeg
- Jalankan pip install -r requirements.txt
- Kemudian ikuti tutorial di bawah ini untuk menginstal onnxruntime-gpu atau TensorRT. Perhatikan bahwa ini hanya diuji pada sistem Linux.

Inferensi Waktu Berjalan

Pertama, unduh file model onnx yang dikonversi: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints .
(Diabaikan di Docker) Jika Anda ingin menggunakan inferensi cpu onnxruntime, cukup pip install onnxruntime . Namun, inferensi CPU sangat lambat dan tidak disarankan. Onnxruntime-gpu terbaru masih belum mendukung grid_sample cuda, tetapi saya menemukan cabang yang mendukungnya. Ikuti langkah-langkah berikut untuk menginstal onnxruntime-gpu dari sumber:
- git clone https://github.com/microsoft/onnxruntime
- git checkout liqun/ImageDecoder-cuda . Terima kasih kepada liqun untuk grid_sample dengan implementasi cuda!
- Jalankan perintah berikut untuk mengkompilasi, mengubah cuda_version dan CMAKE_CUDA_ARCHITECTURES sesuai dengan mesin Anda:
```
./build.sh --parallel 
--build_shared_lib --use_cuda 
--cuda_version 11.8 
--cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda/ 
--config Release --build_wheel --skip_tests 
--cmake_extra_defines CMAKE_CUDA_ARCHITECTURES= " 60;70;75;80;86 " 
--cmake_extra_defines CMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc 
--disable_contrib_ops 
--allow_running_as_root
```
- pip install build/Linux/Release/dist/onnxruntime_gpu-1.17.0-cp310-cp310-linux_x86_64.whl

Uji alur menggunakan onnxruntime:

  python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video assets/examples/driving/d14.mp4 
 --cfg configs/onnx_infer.yaml

Inferensi TensorRT

(Diabaikan di Docker) Instal TensorRT. Ingat jalur instalasi TensorRT.
(Diabaikan di Docker) Instal plugin grid_sample TensorRT, karena model menggunakan sampel grid yang memerlukan input 5D, yang tidak didukung oleh operator grid_sample asli.
- git clone https://github.com/SeanWangJS/grid-sample3d-trt-plugin
- Ubah baris 30 di CMakeLists.txt menjadi: set_target_properties(${PROJECT_NAME} PROPERTIES CUDA_ARCHITECTURES "60;70;75;80;86")
- export PATH=/usr/local/cuda/bin:$PATH
- mkdir build && cd build
- cmake .. -DTensorRT_ROOT=$TENSORRT_HOME , ganti $TENSORRT_HOME dengan direktori root TensorRT Anda sendiri.
- make , ingat alamat file .so, ganti /opt/grid-sample3d-trt-plugin/build/libgrid_sample_3d_plugin.so di scripts/onnx2trt.py dan src/models/predictor.py dengan jalur file .so Anda sendiri
Unduh file model ONNX: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints . Konversikan semua model ONNX ke TensorRT, jalankan sh scripts/all_onnx2trt.sh dan sh scripts/all_onnx2trt_animal.sh

Uji pipeline menggunakan tensorrt:

 python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video assets/examples/driving/d14.mp4 
 --cfg configs/trt_infer.yaml

Untuk berjalan secara real-time menggunakan kamera:

 python run.py 
 --src_image assets/examples/source/s10.jpg 
 --dri_video 0 
 --cfg configs/trt_infer.yaml 
 --realtime

Aplikasi Gradio

onnxruntime: python app.py --mode onnx
tensorrt: python app.py --mode trt
Port defaultnya adalah 9870. Buka halaman web: http://localhost:9870/

Tentang Saya

Ikuti saluran shipinhao saya untuk pembaruan berkelanjutan pada konten AIGC saya. Jangan ragu untuk mengirim pesan kepada saya untuk peluang kolaborasi.

Memperluas

Informasi Tambahan