Realtime_Multi Person_Pose_Estimation

Estimativa de pose de várias pessoas em tempo real

Por Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh.

Introdução

Repositório de código para vencer o MSCOCO Keypoints Challenge 2016, o prêmio ECCV Best Demo Award 2016 e o ​​artigo oral CVPR 2017.

Assista ao resultado do nosso vídeo no YouTube ou em nosso site.

Apresentamos uma abordagem bottom-up para estimativa de pose de múltiplas pessoas em tempo real, sem usar nenhum detector de pessoas. Para mais detalhes, consulte nosso artigo CVPR'17, nossa gravação de vídeo de apresentação oral no CVPR 2017 ou nossos slides de apresentação no workshop ILSVRC e COCO 2016.

Este projeto está licenciado nos termos da licença.

Outras Implementações

Obrigado a todos pelos esforços para a reimplementação! Se você tiver uma nova implementação e quiser compartilhar com outras pessoas, sinta-se à vontade para fazer uma solicitação pull ou me enviar um e-mail!

• Nossa nova biblioteca C++ OpenPose (somente teste)
• Tensorflow [versão 1] | [versão 2] | [versão 3] | [versão 4] | [versão 5] | [versão 6] | [versão 7 - TF2.1]
• Pytorch [versão 1] | [versão 2] | [versão 3]
• Caffe2 [versão 1]
• Encadeador [versão 1]
• MXnet [versão 1]
• MatConvnet [versão 1]
• CNTK [versão 1]

Conteúdo

1. Teste
2. Treinamento
3. Citação

Teste

C++ (versão em tempo real, para fins de demonstração)

• Por favor, use OpenPose, agora ele pode rodar em CPU/GPU e Windows/Ubuntu.
• Três opções de entrada: imagens, vídeo, webcam

Matlab (mais lento, para avaliação COCO)

• Compatível com Caffe geral. Compile o matcaffe.
• Execute cd testing; get_model.sh para recuperar nosso modelo MSCOCO mais recente de nosso servidor web.
• Altere o caffepath no config.m e execute demo.m para um exemplo de uso.

Pitão

• cd testing/python
• ipython notebook
• Abra demo.ipynb e execute o código

Treinamento

Arquitetura de Rede

Etapas de treinamento

• Execute cd training; bash getData.sh para obter as imagens COCO em dataset/COCO/images/ , anotações de pontos-chave em dataset/COCO/annotations/ e caixa de ferramentas oficial COCO em dataset/COCO/coco/ .
• Execute getANNO.m em matlab para converter o formato de anotação de json para mat em dataset/COCO/mat/ .
• Execute genCOCOMask.m no matlab para obter as imagens da máscara para pessoas não rotuladas. Você pode usar 'parfor' no matlab para acelerar o código.
• Execute genJSON('COCO') para gerar um arquivo json na pasta dataset/COCO/json/ . Os arquivos JSON contêm informações brutas necessárias para o treinamento.
• Execute python genLMDB.py para gerar seu LMDB. (Você também pode baixar nosso LMDB para o conjunto de dados COCO (arquivo de 189 GB) por: bash get_lmdb.sh )
• Baixe nosso caffe modificado: caffe_train. Compile o pycaffe. Ele será mesclado com caffe_rtpose (para teste) em breve.
• Execute python setLayers.py --exp 1 para gerar o prototxt e o arquivo shell para treinamento.
• Baixe o modelo VGG-19, usamos ele para inicializar as 10 primeiras camadas para treinamento.
• Execute bash train_pose.sh 0,1 (gerado por setLayers.py) para iniciar o treinamento com dois gpus.

Citação

Por favor, cite o artigo em suas publicações se isso ajudar em sua pesquisa:

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }