Tiempo real_Estimación_de_pose_de_varias personas

Estimación de posturas de varias personas en tiempo real

Por Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh.

Introducción

Repositorio de código para ganar el MSCOCO Keypoints Challenge 2016, el premio ECCV Best Demo Award 2016 y el artículo oral CVPR 2017.

Mira el resultado de nuestro vídeo en YouTube o en nuestro sitio web.

Presentamos un enfoque ascendente para la estimación de la pose de varias personas en tiempo real, sin utilizar ningún detector de personas. Para obtener más detalles, consulte nuestro documento CVPR'17, nuestra grabación de video de presentación oral en CVPR 2017 o nuestras diapositivas de presentación en ILSVRC y COCO Workshop 2016.

Este proyecto tiene licencia según los términos de la licencia.

Otras implementaciones

¡Gracias a todos por los esfuerzos para la reimplementación! Si tiene una nueva implementación y desea compartirla con otros, no dude en realizar una solicitud de extracción o enviarme un correo electrónico.

• Nuestra nueva biblioteca C++ OpenPose (solo prueba)
• Tensorflow [versión 1] | [versión 2] | [versión 3] | [versión 4] | [versión 5] | [versión 6] | [versión 7 - TF2.1]
• Pytorch [versión 1] | [versión 2] | [versión 3]
• Café2 [versión 1]
• Encadenador [versión 1]
• MXnet [versión 1]
• MatConvnet [versión 1]
• CNTK [versión 1]

Contenido

1. Pruebas
2. Capacitación
3. Citación

Pruebas

C++ (versión en tiempo real, para fines de demostración)

• Utilice OpenPose, ahora puede ejecutarse en CPU/GPU y Windows/Ubuntu.
• Tres opciones de entrada: imágenes, vídeo, cámara web

Matlab (más lento, para evaluación COCO)

• Compatible con Caffe general. Compile matcaffe.
• Ejecute cd testing; get_model.sh para recuperar nuestro último modelo MSCOCO de nuestro servidor web.
• Cambie caffepath en config.m y ejecute demo.m para ver un ejemplo de uso.

Pitón

• cd testing/python
• ipython notebook
• Abra demo.ipynb y ejecute el código.

Capacitación

Arquitectura de red

Pasos de entrenamiento

• Ejecutar cd training; bash getData.sh para obtener las imágenes COCO en dataset/COCO/images/ , anotaciones de puntos clave en dataset/COCO/annotations/ y la caja de herramientas oficial de COCO en dataset/COCO/coco/ .
• Ejecute getANNO.m en matlab para convertir el formato de anotación de json a mat en dataset/COCO/mat/ .
• Ejecute genCOCOMask.m en matlab para obtener las imágenes de máscara para personas sin etiquetar. Puedes usar 'parfor' en matlab para acelerar el código.
• Ejecute genJSON('COCO') para generar un archivo json en la carpeta dataset/COCO/json/ . Los archivos json contienen información sin procesar necesaria para la capacitación.
• Ejecute python genLMDB.py para generar su LMDB. (También puede descargar nuestra LMDB para el conjunto de datos COCO (archivo de 189 GB) mediante: bash get_lmdb.sh )
• Descargue nuestro caffe modificado: caffe_train. Compile pycaffe. Pronto se fusionará con caffe_rtpose (para pruebas).
• Ejecute python setLayers.py --exp 1 para generar el archivo prototxt y shell para el entrenamiento.
• Descargue el modelo VGG-19, lo usamos para inicializar las primeras 10 capas para el entrenamiento.
• Ejecute bash train_pose.sh 0,1 (generado por setLayers.py) para iniciar el entrenamiento con dos gpus.

Citación

Cite el artículo en sus publicaciones si ayuda a su investigación:

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }