Realtime_Multi Person_Pose_Estimation

실시간 다중 사람 포즈 추정

저자: Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh.

소개

2016 MSCOCO Keypoints Challenge, 2016 ECCV Best Demo Award 및 2017 CVPR Oral Paper 우승을 위한 코드 저장소입니다.

YouTube나 웹사이트에서 비디오 결과를 시청하세요.

사람 감지기를 사용하지 않고 실시간 다중 사람 포즈 추정을 위한 상향식 접근 방식을 제시합니다. 자세한 내용은 CVPR'17 논문, CVPR 2017의 구두 프레젠테이션 비디오 녹화 또는 ILSVRC 및 COCO 워크숍 2016의 프레젠테이션 슬라이드를 참조하세요.

이 프로젝트는 라이센스 조건에 따라 라이센스가 부여됩니다.

기타 구현

재구현을 위해 노력해주신 모든 분들께 감사드립니다! 새로운 구현이 있고 다른 사람들과 공유하고 싶다면 언제든지 끌어오기 요청을 하거나 이메일을 보내주세요!

• 새로운 C++ 라이브러리 OpenPose(테스트 전용)
• 텐서플로우 [버전 1] | [버전 2] | [버전 3] | [버전 4] | [버전 5] | [버전 6] | [버전 7 - TF2.1]
• Pytorch [버전 1] | [버전 2] | [버전 3]
• Caffe2 [버전 1]
• 체이너 [버전 1]
• MXnet [버전 1]
• MatConvnet [버전 1]
• CNTK [버전 1]

내용물

1. 테스트
2. 훈련
3. 소환

테스트

C++(실시간 버전, 데모용)

• OpenPose를 사용하세요. 이제 CPU/GPU 및 Windows/Ubuntu에서 실행할 수 있습니다.
• 세 가지 입력 옵션: 이미지, 비디오, 웹캠

Matlab(느림, COCO 평가용)

• 일반 Caffe와 호환됩니다. matcaffe를 컴파일합니다.
• cd testing; get_model.sh 웹 서버에서 최신 MSCOCO 모델을 검색하려면 cd testing; get_model.sh 하세요.
• 예제 사용법을 보려면 config.m 에서 caffepath를 변경하고 demo.m 실행하세요.

파이썬

• cd testing/python
• ipython notebook
• demo.ipynb 열고 코드를 실행하세요.

훈련

네트워크 아키텍처

훈련 단계

• cd training; bash getData.sh 사용하면 dataset/COCO/images/ 에서 COCO 이미지를 얻고, dataset/COCO/annotations/ 에서 키포인트 주석을 얻고, dataset/COCO/coco/ 에서 COCO 공식 도구 상자를 얻을 수 있습니다.
• matlab에서 getANNO.m 실행하여 dataset/COCO/mat/ 의 주석 형식을 json에서 mat로 변환합니다.
• matlab에서 genCOCOMask.m 실행하여 레이블이 없는 사람의 마스크 이미지를 얻습니다. MATLAB에서 'parfor'를 사용하면 코드 속도를 높일 수 있습니다.
• genJSON('COCO') 실행하여 dataset/COCO/json/ 폴더에 json 파일을 생성합니다. json 파일에는 훈련에 필요한 원시 정보가 포함되어 있습니다.
• python genLMDB.py 실행하여 LMDB를 생성합니다. (COCO 데이터 세트(189GB 파일)용 LMDB를 다음 방법으로 다운로드할 수도 있습니다: bash get_lmdb.sh )
• 수정된 카페를 다운로드하세요: caffe_train. pycaffe를 컴파일합니다. 곧 caffe_rtpose(테스트용)와 병합될 예정입니다.
• python setLayers.py --exp 1 실행하여 훈련용 prototxt 및 셸 파일을 생성합니다.
• VGG-19 모델을 다운로드하여 훈련을 위한 처음 10개 레이어를 초기화하는 데 사용합니다.
• bash train_pose.sh 0,1 (setLayers.py에 의해 생성됨)을 실행하여 두 개의 GPU로 훈련을 시작합니다.

소환

귀하의 연구에 도움이 된다면 출판물에 해당 논문을 인용해 주십시오.

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }