Realtime_Multi Person_Pose_Estimation

في الوقت الحقيقي تقدير وضعية متعددة الأشخاص

بقلم زهي كاو، توماس سيمون، شيه إن وي، ياسر شيخ.

مقدمة

كود الريبو للفوز بتحدي MSCOCO Keypoints لعام 2016، وجائزة ECCV لأفضل عرض تجريبي لعام 2016، وورقة بحثية CVPR لعام 2017.

شاهد نتيجة الفيديو الخاصة بنا على YouTube أو موقعنا الإلكتروني.

نحن نقدم نهجًا تصاعديًا لتقدير وضعية الأشخاص المتعددين في الوقت الفعلي، دون استخدام أي كاشف للشخص. لمزيد من التفاصيل، راجع ورقة CVPR'17 الخاصة بنا، أو تسجيل الفيديو التقديمي الشفهي في CVPR 2017 أو شرائح العرض التقديمي في ورشة عمل ILSVRC وCOCO 2016.

هذا المشروع مرخص بموجب شروط الترخيص.

تطبيقات أخرى

شكرا لكم جميعا على الجهود المبذولة لإعادة التنفيذ! إذا كان لديك تنفيذ جديد وترغب في مشاركته مع الآخرين، فلا تتردد في تقديم طلب سحب أو مراسلتي عبر البريد الإلكتروني!

• مكتبتنا الجديدة C++ OpenPose (للاختبار فقط)
• Tensorflow [الإصدار 1] | [الإصدار 2] | [الإصدار 3] | [الإصدار 4] | [الإصدار 5] | [الإصدار 6] | [الإصدار 7 - TF2.1]
• بيتورتش [الإصدار 1] | [الإصدار 2] | [الإصدار 3]
• Caffe2 [الإصدار 1]
• تشينر [الإصدار 1]
• مكس نت [الإصدار 1]
• ماتكونفنيت [الإصدار 1]
• سي إن تي كيه [الإصدار 1]

محتويات

1. اختبار
2. تمرين
3. الاقتباس

اختبار

C++ (الإصدار الحقيقي، للأغراض التجريبية)

• الرجاء استخدام OpenPose، الآن يمكن تشغيله في وحدة المعالجة المركزية/وحدة معالجة الرسومات وWindows/Ubuntu.
• ثلاثة خيارات للإدخال: الصور والفيديو وكاميرا الويب

ماتلاب (أبطأ، لتقييم COCO)

• متوافق مع القهوة العامة. تجميع ماتكافي.
• تشغيل cd testing; get_model.sh لاسترداد أحدث طراز MSCOCO من خادم الويب الخاص بنا.
• قم بتغيير caffepath في config.m وقم بتشغيل demo.m للحصول على مثال للاستخدام.

بايثون

• cd testing/python
• ipython notebook
• افتح demo.ipynb وقم بتنفيذ التعليمات البرمجية

تمرين

هندسة الشبكات

خطوات التدريب

• تشغيل cd training; bash getData.sh للحصول على صور COCO في dataset/COCO/images/ ، وتعليقات النقاط الرئيسية في dataset/COCO/annotations/ وصندوق أدوات COCO الرسمي في dataset/COCO/coco/ .
• قم بتشغيل getANNO.m في matlab لتحويل تنسيق التعليقات التوضيحية من json إلى mat في dataset/COCO/mat/ .
• قم بتشغيل genCOCOMask.m في matlab للحصول على صور القناع لشخص غير مسمى. يمكنك استخدام "parfor" في matlab لتسريع الكود.
• قم بتشغيل genJSON('COCO') لإنشاء ملف json في مجلد dataset/COCO/json/ . تحتوي ملفات json على المعلومات الأولية اللازمة للتدريب.
• قم بتشغيل python genLMDB.py لإنشاء LMDB الخاص بك. (يمكنك أيضًا تنزيل LMDB الخاص بنا لمجموعة بيانات COCO (ملف 189 جيجابايت) بواسطة: bash get_lmdb.sh )
• قم بتنزيل الكافيه المعدل لدينا: caffe_train. تجميع بيكافي. سيتم دمجه مع caffe_rtpose (للاختبار) قريبًا.
• قم بتشغيل python setLayers.py --exp 1 لإنشاء ملف prototxt وملف shell للتدريب.
• تنزيل نموذج VGG-19، نستخدمه لتهيئة الطبقات العشر الأولى للتدريب.
• قم بتشغيل bash train_pose.sh 0,1 (الذي تم إنشاؤه بواسطة setLayers.py) لبدء التدريب باستخدام وحدتي GPU.

الاقتباس

يرجى الاستشهاد بالمقالة في منشوراتك إذا كان ذلك يساعد في بحثك:

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }