БыстрееLiveПортрет

FasterLivePortrait: оживите портреты в реальном времени!

английский | 中文

Оригинальный репозиторий: LivePortrait, авторам спасибо за обмен

Новые возможности:

• Обеспечена работа LivePortrait в реальном времени на графическом процессоре RTX 3090 с использованием TensorRT, достигая скорости 30+ кадров в секунду. Это скорость рендеринга одного кадра, включая предварительную и постобработку, а не только скорость вывода модели.
• Реализовано преобразование модели LivePortrait в модель Onnx, обеспечивающее скорость вывода около 70 мс/кадр (~ 12 кадров в секунду) с использованием onnxruntime-gpu на RTX 3090, что облегчает кросс-платформенное развертывание.
• Полная поддержка встроенного приложения Gradio с в несколько раз более высокой скоростью и поддержкой одновременного вывода по нескольким лицам и модели животных.

Если вы считаете этот проект полезным, поставьте ему звездочку ✨✨

8.10.2.mp4

результат2.mp4

Журнал изменений

• 11.08.2024: Оптимизирована скорость вставки_обратно и исправлены некоторые ошибки.
  • Использовано torchgeometry + cuda для оптимизации функции Paste_back, что значительно повышает скорость. Пример: python run.py --src_image assets/examples/source/s39.jpg --dri_video assets/examples/driving/d0.mp4 --cfg configs/trt_infer.yaml --paste_back --animal
  • Исправлены проблемы с операциями Xpose, вызывающие ошибки на некоторых графических процессорах и другие ошибки. Используйте последний образ Docker: docker pull shaoguo/faster_liveportrait:v3
• 07.08.2024: Добавлена ​​поддержка моделей животных и моделей MediaPipe, поэтому вам больше не нужно беспокоиться о проблемах с авторскими правами.

  • Добавлена ​​поддержка моделей животных.

    • Загрузите файл ONNX животного: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints , затем преобразуйте его в формат TRT.
    • Обновите образ Docker: docker pull shaoguo/faster_liveportrait:v3 . Использование модели животного: python run.py --src_image assets/examples/source/s39.jpg --dri_video 0 --cfg configs/trt_infer.yaml --realtime --animal
    • Пользователи Windows могут загрузить последнюю версию универсального пакета Windows со страницы выпуска, затем разархивировать и использовать его.
    • Простое руководство по использованию:
    0807-3.mp4

  • Использование модели MediaPipe для замены InsightFace

    • Для использования в Интернете: python app.py --mode trt --mp или python app.py --mode onnx --mp
    • Для локальной веб-камеры: python run.py --src_image assets/examples/source/s12.jpg --dri_video 0 --cfg configs/trt_mp_infer.yaml
• 24.07.2024: пакет интеграции с Windows, установка не требуется, запуск одним щелчком мыши, поддержка TensorRT и OnnxruntimeGPU. Спасибо @zhanghongyong123456 за вклад в этот выпуск.
  • [Необязательно] Если вы уже установили CUDA и cuDNN на свой компьютер с Windows, пропустите этот шаг. Я проверил только на CUDA 12.2. Если вы не установили CUDA или столкнулись с ошибками, связанными с CUDA, вам необходимо выполнить следующие действия:
    • Загрузите CUDA 12.2, дважды щелкните exe-файл и установите его, шаг за шагом следуя настройкам по умолчанию.
    • Загрузите zip-файл cuDNN, распакуйте его и скопируйте папки lib, bin и include из папки cuDNN в папку CUDA 12.2 (по умолчанию — C:Program FilesNVIDIA GPU Computing ToolkitCUDAv12.2).
  • Загрузите не требующий установки пакет интеграции Windows со страницы выпуска и распакуйте его.
  • Войдите в FasterLivePortrait-windows и дважды щелкните all_onnx2trt.bat чтобы преобразовать файлы onnx, что займет некоторое время.
  • Для веб-демо: дважды щелкните app.bat , откройте веб-страницу: http://localhost:9870/
  • Для работы камеры в режиме реального времени дважды щелкните camera.bat и нажмите q , чтобы остановить. Если вы хотите изменить целевое изображение, запустите в командной строке: camera.bat assets/examples/source/s9.jpg
• 18.07.2024: добавлена ​​поддержка macOS (Docker не нужен, достаточно Python). Чипы M1/M2 быстрее, но все равно довольно медленные?
  • Установите ffmpeg: brew install ffmpeg
  • Настройте виртуальную среду Python 3.10. Рекомендуется использовать miniforge: conda create -n flip python=3.10 && conda activate flip
  • Требования для установки: pip install -r requirements_macos.txt
  • Загрузите файлы ONNX: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints
  • Тест: python app.py --mode onnx
• 17.07.2024: Добавлена ​​поддержка среды Docker, обеспечивающая работоспособный образ.

Настройка среды

• Вариант 1: Docker (рекомендуется). Образ Docker предоставляется для устранения необходимости устанавливать onnxruntime-gpu и TensorRT вручную.
  • Установите Docker в соответствии с вашей системой.
  • Загрузите изображение: docker pull shaoguo/faster_liveportrait:v3
  • Выполните команду, замените $FasterLivePortrait_ROOT на локальный каталог, в который вы загрузили FasterLivePortrait:

  docker run -it --gpus=all 
  --name faster_liveportrait 
  -v $FasterLivePortrait_ROOT :/root/FasterLivePortrait 
  --restart=always 
  -p 9870:9870 
  shaoguo/faster_liveportrait:v3 
  /bin/bash

• Вариант 2. Создайте новую виртуальную среду Python и вручную установите необходимые пакеты Python.
  • Сначала установите ffmpeg
  • Запустите pip install -r requirements.txt
  • Затем следуйте инструкциям ниже, чтобы установить onnxruntime-gpu или TensorRT. Обратите внимание, что это тестировалось только в системах Linux.

Вывод Onnxruntime

• Сначала загрузите преобразованные файлы модели onnx: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints .
• (Игнорируется в Docker). Если вы хотите использовать вывод процессора onnxruntime, просто pip install onnxruntime . Однако вывод процессора работает очень медленно и не рекомендуется. Последняя версия onnxruntime-gpu по-прежнему не поддерживает Grid_sample cuda, но я нашел ветку, которая ее поддерживает. Выполните следующие действия, чтобы установить onnxruntime-gpu из исходного кода:
  • git clone https://github.com/microsoft/onnxruntime
  • git checkout liqun/ImageDecoder-cuda . Спасибо liqun за Grid_sample с реализацией cuda!
  • Выполните следующие команды для компиляции, изменив cuda_version и CMAKE_CUDA_ARCHITECTURES в соответствии с вашей машиной:

  ./build.sh --parallel 
  --build_shared_lib --use_cuda 
  --cuda_version 11.8 
  --cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda/ 
  --config Release --build_wheel --skip_tests 
  --cmake_extra_defines CMAKE_CUDA_ARCHITECTURES= " 60;70;75;80;86 " 
  --cmake_extra_defines CMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc 
  --disable_contrib_ops 
  --allow_running_as_root

  • pip install build/Linux/Release/dist/onnxruntime_gpu-1.17.0-cp310-cp310-linux_x86_64.whl
• Протестируйте конвейер, используя onnxruntime:

    python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video assets/examples/driving/d14.mp4 
   --cfg configs/onnx_infer.yaml
  

Вывод TensorRT

• (Игнорируется в Docker) Установите TensorRT. Запомните путь установки TensorRT.
• (Игнорируется в Docker) Установите плагин TensorRTgrid_sample, так как модель использует образец сетки, требующий ввода 5D, который не поддерживается собственным операторомgrid_sample.
  • git clone https://github.com/SeanWangJS/grid-sample3d-trt-plugin
  • Измените строку 30 в CMakeLists.txt на: set_target_properties(${PROJECT_NAME} PROPERTIES CUDA_ARCHITECTURES "60;70;75;80;86")
  • export PATH=/usr/local/cuda/bin:$PATH
  • mkdir build && cd build
  • cmake .. -DTensorRT_ROOT=$TENSORRT_HOME замените $TENSORRT_HOME собственным корневым каталогом TensorRT.
  • make , запомните адрес файла .so, замените /opt/grid-sample3d-trt-plugin/build/libgrid_sample_3d_plugin.so в scripts/onnx2trt.py и src/models/predictor.py на свой собственный путь к файлу .so
• Загрузите файлы модели ONNX: huggingface-cli download warmshao/FasterLivePortrait --local-dir ./checkpoints . Конвертируйте все модели ONNX в TensorRT, запустите sh scripts/all_onnx2trt.sh и sh scripts/all_onnx2trt_animal.sh
• Протестируйте конвейер с помощью tensorrt:

   python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video assets/examples/driving/d14.mp4 
   --cfg configs/trt_infer.yaml

• Чтобы работать в режиме реального времени с помощью камеры:

   python run.py 
   --src_image assets/examples/source/s10.jpg 
   --dri_video 0 
   --cfg configs/trt_infer.yaml 
   --realtime

Приложение Градио

• onnxruntime: python app.py --mode onnx
• tensorrt: python app.py --mode trt
• Порт по умолчанию — 9870. Откройте веб-страницу: http://localhost:9870/

Обо мне

Следите за моим каналом Shipinhao, чтобы получать постоянные обновления моего контента AIGC. Не стесняйтесь писать мне о возможностях сотрудничества.