หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

การประมาณท่าทางแบบหลายบุคคลแบบเรียลไทม์

โดย เจ้อ เฉา, โทมัส ไซมอน, ฉือเอิน เหว่ย, ยาเซอร์ ชีค

การแนะนำ

การซื้อคืนโค้ดสำหรับการชนะ MSCOCO Keypoints Challenge ปี 2016, รางวัล ECCV Best Demo Award ปี 2016 และรายงานช่องปาก CVPR ปี 2017

ดูผลลัพธ์วิดีโอของเราใน YouTube หรือเว็บไซต์ของเรา

เรานำเสนอวิธีการจากล่างขึ้นบนสำหรับการประมาณท่าทางหลายคนแบบเรียลไทม์ โดยไม่ต้องใช้เครื่องตรวจจับบุคคลใดๆ สำหรับรายละเอียดเพิ่มเติม โปรดดูรายงาน CVPR'17 ของเรา การบันทึกวิดีโอการนำเสนอแบบปากเปล่าที่ CVPR 2017 หรือสไลด์การนำเสนอของเราที่เวิร์กช็อป ILSVRC และ COCO 2016

โครงการนี้ได้รับอนุญาตภายใต้เงื่อนไขของใบอนุญาต

การใช้งานอื่น ๆ

ขอขอบคุณทุกท่านสำหรับความพยายามในการปรับใช้ใหม่! หากคุณมีการใช้งานใหม่และต้องการแบ่งปันกับผู้อื่น โปรดดึงคำขอหรือส่งอีเมลถึงฉัน!

  • OpenPose ไลบรารี C ++ ใหม่ของเรา (สำหรับการทดสอบเท่านั้น)
  • Tensorflow [เวอร์ชัน 1] | [เวอร์ชั่น 2] | [เวอร์ชั่น 3] | [เวอร์ชั่น 4] | [เวอร์ชั่น 5] | [เวอร์ชัน 6] | [เวอร์ชัน 7 - TF2.1]
  • Pytorch [เวอร์ชั่น 1] | [เวอร์ชั่น 2] | [เวอร์ชัน 3]
  • Caffe2 [เวอร์ชั่น 1]
  • เชนเนอร์ [เวอร์ชัน 1]
  • MXnet [เวอร์ชัน 1]
  • MatConvnet [เวอร์ชัน 1]
  • CNTK [เวอร์ชัน 1]

สารบัญ

  1. การทดสอบ
  2. การฝึกอบรม
  3. การอ้างอิง

การทดสอบ

C++ (เวอร์ชันเรียลไทม์ เพื่อการสาธิต)

  • กรุณาใช้ OpenPose ตอนนี้สามารถทำงานใน CPU/ GPU และ windows /Ubuntu ได้
  • ตัวเลือกการป้อนข้อมูลสามแบบ: รูปภาพ, วิดีโอ, เว็บแคม

Matlab (ช้ากว่าสำหรับการประเมิน COCO)

  • ใช้ได้กับกาแฟทั่วไป คอมไพล์ matcaffe.
  • เรียกใช้ cd testing; get_model.sh เพื่อดึงข้อมูลโมเดล MSCOCO ล่าสุดจากเว็บเซิร์ฟเวอร์ของเรา
  • เปลี่ยน caffepath ใน config.m และเรียกใช้ demo.m เพื่อดูตัวอย่างการใช้งาน

หลาม

  • cd testing/python
  • ipython notebook
  • เปิด demo.ipynb และรันโค้ด

การฝึกอบรม

สถาปัตยกรรมเครือข่าย

ทีเซอร์?

ขั้นตอนการฝึกอบรม

  • ดำเนินการ cd training; bash getData.sh เพื่อรับอิมเมจ COCO ใน dataset/COCO/images/ คำอธิบายประกอบจุดสำคัญใน dataset/COCO/annotations/ และกล่องเครื่องมืออย่างเป็นทางการของ COCO ใน dataset/COCO/coco/
  • เรียกใช้ getANNO.m ใน Matlab เพื่อแปลงรูปแบบคำอธิบายประกอบจาก json เป็น mat ใน dataset/COCO/mat/
  • เรียกใช้ genCOCOMask.m ใน Matlab เพื่อแสดงรูปภาพมาส์กสำหรับบุคคลที่ไม่มีป้ายกำกับ คุณสามารถใช้ 'parfor' ใน Matlab เพื่อเร่งความเร็วโค้ดได้
  • เรียกใช้ genJSON('COCO') เพื่อสร้างไฟล์ json ใน dataset/COCO/json/ โฟลเดอร์ ไฟล์ json มีข้อมูลดิบที่จำเป็นสำหรับการฝึกอบรม
  • เรียกใช้ python genLMDB.py เพื่อสร้าง LMDB ของคุณ (คุณยังสามารถดาวน์โหลด LMDB ของเราสำหรับชุดข้อมูล COCO (ไฟล์ 189GB) โดย: bash get_lmdb.sh )
  • ดาวน์โหลด caffe ที่ได้รับการดัดแปลงของเรา: caffe_train คอมไพล์ pycaffe. จะถูกรวมเข้ากับ caffe_rtpose (สำหรับการทดสอบ) เร็วๆ นี้
  • รัน python setLayers.py --exp 1 เพื่อสร้าง prototxt และไฟล์เชลล์สำหรับการฝึก
  • ดาวน์โหลดโมเดล VGG-19 เราใช้มันเริ่มต้น 10 เลเยอร์แรกสำหรับการฝึกอบรม
  • รัน bash train_pose.sh 0,1 (สร้างโดย setLayers.py) เพื่อเริ่มการฝึกด้วย GPU สองตัว

การอ้างอิง

โปรดอ้างอิงบทความในสิ่งพิมพ์ของคุณหากช่วยในการวิจัยของคุณ: 

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด