FasterLivePortrait

FasterLivePortrait: ทำให้ภาพบุคคลมีชีวิตแบบเรียลไทม์!

อังกฤษ | 中文

พื้นที่เก็บข้อมูลดั้งเดิม: LivePortrait ขอขอบคุณผู้เขียนที่แบ่งปัน

คุณสมบัติใหม่:

• ใช้งาน LivePortrait แบบเรียลไทม์บน GPU RTX 3090 โดยใช้ TensorRT ซึ่งมีความเร็วถึง 30+ FPS นี่คือความเร็วสำหรับการเรนเดอร์เฟรมเดียว รวมถึงก่อนและหลังการประมวลผล ไม่ใช่แค่ความเร็วในการอนุมานโมเดล
• ดำเนินการแปลงโมเดล LivePortrait เป็นโมเดล Onnx โดยบรรลุความเร็วอนุมานประมาณ 70ms/เฟรม (~12 FPS) โดยใช้ onnxruntime-gpu บน RTX 3090 ซึ่งอำนวยความสะดวกในการปรับใช้ข้ามแพลตฟอร์ม
• รองรับแอป gradio แบบเนทีฟได้อย่างราบรื่น ด้วยความเร็วที่เร็วขึ้นหลายเท่า และรองรับการอนุมานพร้อมกันบนหลายใบหน้าและ Animal Model

หากคุณพบว่าโครงการนี้มีประโยชน์ โปรดให้ดาว ✨✨

8.10.2.mp4

result2.mp4

บันทึกการเปลี่ยนแปลง

• 2024/08/11: ปรับความเร็ว paste_back ให้เหมาะสมและแก้ไขข้อบกพร่องบางอย่าง
  • ใช้ torchgeometry + cuda เพื่อเพิ่มประสิทธิภาพฟังก์ชัน paste_back ซึ่งช่วยเพิ่มความเร็วได้อย่างมาก ตัวอย่าง: python run.py --src_image assets/examples/source/s39.jpg --dri_video assets/examples/driving/d0.mp4 --cfg configs/trt_infer.yaml --paste_back --animal
  • แก้ไขปัญหาเกี่ยวกับ Xpose ops ที่ทำให้เกิดข้อผิดพลาดกับ GPU บางตัวและข้อบกพร่องอื่น ๆ โปรดใช้อิมเมจนักเทียบท่าล่าสุด: docker pull shaoguo/faster_liveportrait:v3
• 08/08/2024: เพิ่มการรองรับสำหรับโมเดลสัตว์และโมเดล MediaPipe คุณจึงไม่ต้องกังวลกับปัญหาลิขสิทธิ์อีกต่อไป

  • เพิ่มการรองรับโมเดลสัตว์

    • ดาวน์โหลดไฟล์สัตว์ ONNX: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints จากนั้นแปลงเป็นรูปแบบ TRT
    • อัปเดตอิมเมจ Docker: docker pull shaoguo/faster_liveportrait:v3 การใช้โมเดลสัตว์: python run.py --src_image assets/examples/source/s39.jpg --dri_video 0 --cfg configs/trt_infer.yaml --realtime --animal
    • ผู้ใช้ Windows สามารถดาวน์โหลดแพ็คเกจ Windows all-in-one ล่าสุดได้จากหน้าเผยแพร่ จากนั้นแตกไฟล์และใช้งาน
    • บทช่วยสอนการใช้งานอย่างง่าย:
    0807-3.mp4

  • การใช้โมเดล MediaPipe เพื่อแทนที่ InsightFace

    • สำหรับการใช้งานเว็บ: python app.py --mode trt --mp หรือ python app.py --mode onnx --mp
    • สำหรับเว็บแคมท้องถิ่น: python run.py --src_image assets/examples/source/s12.jpg --dri_video 0 --cfg configs/trt_mp_infer.yaml
• 2024/07/2024: แพ็คเกจการรวม Windows ไม่จำเป็นต้องติดตั้ง เรียกใช้ด้วยคลิกเดียว รองรับ TensorRT และ OnnxruntimeGPU ขอขอบคุณ @zhanghongyong123456 สำหรับการมีส่วนร่วมในประเด็นนี้
  • [ไม่บังคับ] หากคุณได้ติดตั้ง CUDA และ cuDNN บนคอมพิวเตอร์ Windows ของคุณแล้ว โปรดข้ามขั้นตอนนี้ ฉันตรวจสอบเฉพาะ CUDA 12.2 เท่านั้น หากคุณไม่ได้ติดตั้ง CUDA หรือพบข้อผิดพลาดเกี่ยวกับ CUDA คุณต้องทำตามขั้นตอนเหล่านี้:
    • ดาวน์โหลด CUDA 12.2 ดับเบิลคลิก exe และติดตั้งตามการตั้งค่าเริ่มต้นทีละขั้นตอน
    • ดาวน์โหลดไฟล์ zip cuDNN แตกไฟล์แล้วคัดลอก lib, bin และรวมโฟลเดอร์จากโฟลเดอร์ cuDNN ไปยังโฟลเดอร์ CUDA 12.2 (ค่าเริ่มต้นคือ C:Program FilesNVIDIA GPU Computing ToolkitCUDAv12.2)
  • ดาวน์โหลดแพ็คเกจการรวม Windows ที่ไม่มีการติดตั้งจากหน้าเผยแพร่และแตกไฟล์
  • ป้อน FasterLivePortrait-windows แล้วดับเบิลคลิก all_onnx2trt.bat เพื่อแปลงไฟล์ onnx ซึ่งจะใช้เวลาสักครู่
  • สำหรับการสาธิตเว็บ: ดับเบิลคลิก app.bat เปิดหน้าเว็บ: http://localhost:9870/
  • สำหรับการทำงานของกล้องแบบเรียลไทม์ ให้ดับเบิลคลิก camera.bat ，กด q เพื่อหยุด หากคุณต้องการเปลี่ยนภาพเป้าหมาย ให้รันในบรรทัดคำสั่ง: camera.bat assets/examples/source/s9.jpg
• 2024/07/18: เพิ่มการรองรับ macOS (ไม่จำเป็นต้องใช้ Docker, Python ก็เพียงพอแล้ว) ชิป M1/M2 เร็วกว่า แต่ก็ยังค่อนข้างช้า ?
  • ติดตั้ง ffmpeg: brew install ffmpeg
  • ตั้งค่าสภาพแวดล้อมเสมือน Python 3.10 แนะนำให้ใช้ miniforge: conda create -n flip python=3.10 && conda activate flip
  • ข้อกำหนดในการติดตั้ง: pip install -r requirements_macos.txt
  • ดาวน์โหลดไฟล์ ONNX: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints
  • ทดสอบ: python app.py --mode onnx
• 17/07/2024: เพิ่มการรองรับสภาพแวดล้อม Docker โดยให้อิมเมจที่รันได้

การตั้งค่าสภาพแวดล้อม

• ตัวเลือกที่ 1: นักเทียบท่า (แนะนำ) มีอิมเมจนักเทียบท่าไว้เพื่อขจัดความจำเป็นในการติดตั้ง onnxruntime-gpu และ TensorRT ด้วยตนเอง
  • ติดตั้ง Docker ตามระบบของคุณ
  • ดาวน์โหลดภาพ: docker pull shaoguo/faster_liveportrait:v3
  • ดำเนินการคำสั่งแทนที่ $FasterLivePortrait_ROOT ด้วยไดเร็กทอรีในเครื่องที่คุณดาวน์โหลด FasterLivePortrait:

  docker run -it --gpus=all 
  --name faster_liveportrait 
  -v $FasterLivePortrait_ROOT :/root/FasterLivePortrait 
  --restart=always 
  -p 9870:9870 
  shaoguo/faster_liveportrait:v3 
  /bin/bash

• ตัวเลือกที่ 2: สร้างสภาพแวดล้อมเสมือน Python ใหม่และติดตั้งแพ็คเกจ Python ที่จำเป็นด้วยตนเอง
  • ขั้นแรกให้ติดตั้ง ffmpeg
  • รัน pip install -r requirements.txt
  • จากนั้นทำตามบทช่วยสอนด้านล่างเพื่อติดตั้ง onnxruntime-gpu หรือ TensorRT โปรดทราบว่าสิ่งนี้ได้รับการทดสอบบนระบบ Linux เท่านั้น

การอนุมาน Onnxruntime

• ขั้นแรก ให้ดาวน์โหลดไฟล์โมเดล onnx ที่แปลงแล้ว: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints
• (ละเว้นใน Docker) หากคุณต้องการใช้การอนุมาน onnxruntime cpu เพียง pip install onnxruntime อย่างไรก็ตาม การอนุมาน cpu ช้ามาก และไม่แนะนำ onnxruntime-gpu ล่าสุดยังคงไม่รองรับ grid_sample cuda แต่ฉันพบสาขาที่รองรับ ทำตามขั้นตอนเหล่านี้เพื่อติดตั้ง onnxruntime-gpu จากแหล่งที่มา:
  • git clone https://github.com/microsoft/onnxruntime
  • git checkout liqun/ImageDecoder-cuda ขอบคุณ liqun สำหรับ grid_sample พร้อมการนำ cuda ไปใช้!
  • รันคำสั่งต่อไปนี้เพื่อคอมไพล์ เปลี่ยน cuda_version และ CMAKE_CUDA_ARCHITECTURES ตามเครื่องของคุณ:

  ./build.sh --parallel 
  --build_shared_lib --use_cuda 
  --cuda_version 11.8 
  --cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda/ 
  --config Release --build_wheel --skip_tests 
  --cmake_extra_defines CMAKE_CUDA_ARCHITECTURES= " 60;70;75;80;86 " 
  --cmake_extra_defines CMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc 
  --disable_contrib_ops 
  --allow_running_as_root

  • pip install build/Linux/Release/dist/onnxruntime_gpu-1.17.0-cp310-cp310-linux_x86_64.whl
• ทดสอบไปป์ไลน์โดยใช้ onnxruntime:

    python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video assets/examples/driving/d14.mp4 
   --cfg configs/onnx_infer.yaml
  

การอนุมาน TensorRT

• (ละเว้นใน Docker) ติดตั้ง TensorRT จำเส้นทางการติดตั้งของ TensorRT
• (ละเว้นใน Docker) ติดตั้งปลั๊กอิน grid_sample TensorRT เนื่องจากโมเดลใช้ตัวอย่างตารางที่ต้องใช้อินพุต 5D ซึ่งไม่ได้รับการสนับสนุนโดยตัวดำเนินการ grid_sample ดั้งเดิม
  • git clone https://github.com/SeanWangJS/grid-sample3d-trt-plugin
  • แก้ไขบรรทัด 30 ใน CMakeLists.txt เป็น: set_target_properties(${PROJECT_NAME} PROPERTIES CUDA_ARCHITECTURES "60;70;75;80;86")
  • export PATH=/usr/local/cuda/bin:$PATH
  • mkdir build && cd build
  • cmake .. -DTensorRT_ROOT=$TENSORRT_HOME แทนที่ $TENSORRT_HOME ด้วยไดเรกทอรีราก TensorRT ของคุณเอง
  • make จำที่อยู่ของไฟล์ .so แทนที่ /opt/grid-sample3d-trt-plugin/build/libgrid_sample_3d_plugin.so ใน scripts/onnx2trt.py และ src/models/predictor.py ด้วยพาธไฟล์ .so ของคุณเอง
• ดาวน์โหลดไฟล์โมเดล ONNX: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints แปลงโมเดล ONNX ทั้งหมดเป็น TensorRT รัน sh scripts/all_onnx2trt.sh และ sh scripts/all_onnx2trt_animal.sh
• ทดสอบไปป์ไลน์โดยใช้ tensorrt:

   python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video assets/examples/driving/d14.mp4 
   --cfg configs/trt_infer.yaml

• หากต้องการทำงานแบบเรียลไทม์โดยใช้กล้อง:

   python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video 0 
   --cfg configs/trt_infer.yaml 
   --realtime

แอพกราดิโอ

• onnxruntime: python app.py --mode onnx
• tensorrt: python app.py --mode trt
• พอร์ตเริ่มต้นคือ 9870 เปิดหน้าเว็บ: http://localhost:9870/

เกี่ยวกับฉัน

ติดตามช่อง shipinhao ของฉันเพื่อรับการอัปเดตอย่างต่อเนื่องเกี่ยวกับเนื้อหา AIGC ของฉัน อย่าลังเลที่จะส่งข้อความถึงฉันสำหรับโอกาสในการทำงานร่วมกัน