Realtime_Multi Orang_Pose_Estimasi

Estimasi Pose Multi-Orang Secara Realtime

Oleh Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh.

Perkenalan

Repo kode untuk memenangkan MSCOCO Keypoints Challenge 2016, ECCV Best Demo Award 2016, dan makalah Lisan CVPR 2017.

Tonton hasil video kami di YouTube atau website kami.

Kami menyajikan pendekatan bottom-up untuk estimasi pose beberapa orang secara realtime, tanpa menggunakan detektor orang apa pun. Untuk lebih jelasnya lihat makalah CVPR'17 kami, rekaman video presentasi lisan kami di CVPR 2017 atau slide presentasi kami di workshop ILSVRC dan COCO 2016.

Proyek ini dilisensikan berdasarkan ketentuan lisensi.

Implementasi Lainnya

Terima kasih semua atas upaya implementasi ulang! Jika Anda memiliki implementasi baru dan ingin berbagi dengan orang lain, silakan buat permintaan tarik atau kirim email kepada saya!

• OpenPose pustaka C++ baru kami (khusus pengujian)
• Tensorflow [versi 1] | [versi 2] | [versi 3] | [versi 4] | [versi 5] | [versi 6] | [versi 7 - TF2.1]
• Pytorch [versi 1] | [versi 2] | [versi 3]
• Caffe2 [versi 1]
• Rantai [versi 1]
• MXnet [versi 1]
• MatConvnet [versi 1]
• CNTK [versi 1]

Isi

1. Pengujian
2. Pelatihan
3. Kutipan

Pengujian

C++ (versi realtime, untuk tujuan demo)

• Silakan gunakan OpenPose, sekarang dapat berjalan di CPU/GPU dan windows/Ubuntu.
• Tiga opsi masukan: gambar, video, webcam

Matlab (lebih lambat, untuk evaluasi COCO)

• Kompatibel dengan Caffe umum. Kompilasi matcaffe.
• Jalankan cd testing; get_model.sh untuk mengambil model MSCOCO terbaru dari server web kami.
• Ubah caffepath di config.m dan jalankan demo.m untuk contoh penggunaan.

ular piton

• cd testing/python
• ipython notebook
• Buka demo.ipynb dan jalankan kodenya

Pelatihan

Arsitektur Jaringan

Langkah-Langkah Pelatihan

• Jalankan cd training; bash getData.sh untuk mendapatkan gambar COCO di dataset/COCO/images/ , anotasi titik kunci di dataset/COCO/annotations/ dan kotak alat resmi COCO di dataset/COCO/coco/ .
• Jalankan getANNO.m di matlab untuk mengonversi format anotasi dari json ke mat di dataset/COCO/mat/ .
• Jalankan genCOCOMask.m di matlab untuk mendapatkan gambar topeng untuk orang yang tidak berlabel. Anda dapat menggunakan 'parfor' di matlab untuk mempercepat kode.
• Jalankan genJSON('COCO') untuk menghasilkan file json di folder dataset/COCO/json/ . File json berisi informasi mentah yang diperlukan untuk pelatihan.
• Jalankan python genLMDB.py untuk menghasilkan LMDB Anda. (Anda juga dapat mengunduh LMDB kami untuk kumpulan data COCO (file 189GB) dengan: bash get_lmdb.sh )
• Unduh caffe kami yang telah dimodifikasi: caffe_train. Kompilasi pycaffe. Ini akan segera digabungkan dengan caffe_rtpose (untuk pengujian).
• Jalankan python setLayers.py --exp 1 untuk menghasilkan file prototxt dan shell untuk pelatihan.
• Unduh model VGG-19, kami menggunakannya untuk menginisialisasi 10 lapisan pertama untuk pelatihan.
• Jalankan bash train_pose.sh 0,1 (dihasilkan oleh setLayers.py) untuk memulai pelatihan dengan dua GPU.

Kutipan

Silakan kutip makalah tersebut dalam publikasi Anda jika itu membantu penelitian Anda:

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }