Towards Realtime MOT
1.0.0
أخبار:
هذا الريبو هو قاعدة كود لنموذج الكشف عن المفصل والتضمين (JDE). JDE عبارة عن تعقب سريع متعدد الأداء وعالي الأداء يتعلم مهمة اكتشاف الكائن ومهمة تضمين المظهر بشكل متاح في شبكة عصبية مشتركة. يتم وصف التفاصيل الفنية في ورقة ECCV 2020 الخاصة بنا. باستخدام هذا الريبو ، يمكنك ببساطة تحقيق Mota 64 ٪+ على بروتوكول "الخاص" لتحدي MOT-16 ، وبسرعة قريبة في الوقت الفعلي في 22 ~ 38 إطارًا في الثانية (لاحظ هذه السرعة للنظام بأكمله ، بما في ذلك خطوة الكشف!).
نأمل أن يساعد هذا الريبو في الأبحاث/المهندسين على تطوير أنظمة MOT أكثر عملية. لتطوير الخوارزمية ، نقدم بيانات التدريب والنماذج الأساسية وطرق التقييم لإنشاء ملعب مستوي. لاستخدام التطبيق ، نقدم أيضًا عرضًا صغيرًا للفيديو يأخذ مقاطع الفيديو الأولية كمدخلات دون أي أجراس وصفارات.
pip install motmetrics )pip install cython_bbox )
الاستخدام:
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
docker build -t towards-realtime-mot docker/
docker run --rm --gpus all -v $( pwd ) /:/Towards-Realtime-MOT -ti towards-realtime-mot /bin/bash
cd /Towards-Realtime-MOT ;
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
يرجى الاطلاع على dataset_zoo.md للحصول على وصف مفصل لمجموعات بيانات التدريب/التقييم.
نموذج Darknet-53 ImageNet PretRained: [Darknet المسؤول]
نماذج مدربة مع قرارات إدخال مختلفة:
| نموذج | موتا | IDF1 | معرفات | FP | fn | FPS | وصلة |
|---|---|---|---|---|---|---|---|
| JDE-1088x608 | 73.1 | 68.9 | 1312 | 6593 | 21788 | 22.2 | [Google] [Baidu] |
| JDE-864x480 | 70.8 | 65.8 | 1279 | 5653 | 25806 | 30.3 | [Google] [Baidu] |
| JDE-576x320 | 63.7 | 63.3 | 1307 | 6657 | 32794 | 37.9 | [Google] [Baidu] |
يتم اختبار الأداء على مجموعة التدريب MOT-16 ، فقط للرجوع إليها. يتم اختبار سرعة التشغيل على وحدة معالجة الرسومات Nvidia Titan XP. لمقارنة أكثر شمولاً مع الطرق الأخرى ، يمكنك اختبار مجموعة اختبار MOT-16 وتقديم نتيجة إلى معيار MOT-16. لاحظ أنه يجب تقديم النتائج إلى مسار الكاشف الخاص.
python track.py --cfg ./cfg/yolov3_1088x608.cfg --weights /path/to/model/weights
بشكل افتراضي ، يقوم البرنامج النصي بتقييم التقييم على مجموعة التدريب MOT-16. إذا كنت ترغب في التقييم على مجموعة الاختبار ، فيرجى إضافة --test-mot16 إلى سطر الأوامر. يتم حفظ النتائج في الملفات النصية في $DATASET_ROOT/results/*.txt . يمكنك أيضًا إضافة --save-images أو- --save-videos للحصول على النتائج المرئية. يتم حفظ النتائج المرئية في $DATASET_ROOT/outputs/
cfg/ccmcpe.json ، تكوين مجموعات التدريب/التحقق من الصحة. يتم تمثيل مجموعة البيانات بقائمة صور ، يرجى الاطلاع على data/*.train على سبيل المثال. CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python train.py
نحن نستخدم 8x Nvidia Titan XP لتدريب النموذج ، بحجم دفعة 32. يمكنك ضبط حجم الدُفعة (ومعدل التعلم معًا) وفقًا لعدد وحدات معالجة الرسومات الخاصة بك. يمكنك أيضًا التدريب مع حجم الصورة الأصغر ، مما سيؤدي إلى وقت استنتاج أسرع. لكن لاحظ أن حجم الصورة كان من الأفضل أن يكون مضاعفات 32 (معدل أخذ العينات السفلي).
إضافة مجموعات DATSTELS مخصصة أمر بسيط للغاية ، كل ما عليك فعله هو تنظيم ملفات التعليقات التوضيحية الخاصة بك بنفس التنسيق كما في مجموعات التدريب لدينا. يرجى الرجوع إلى dataset_zoo.md لتنسيق مجموعة البيانات.
يتم استعارة جزء كبير من التعليمات البرمجية من ultralytics/yolov3 و longcw/motdt ، شكراً جزيلاً لعملهم الرائع!
إذا وجدت هذا الريبو مفيدًا في مشروعك أو بحثك ، فيرجى التفكير في ذلك:
@article{wang2019towards,
title={Towards Real-Time Multi-Object Tracking},
author={Wang, Zhongdao and Zheng, Liang and Liu, Yixuan and Wang, Shengjin},
journal={The European Conference on Computer Vision (ECCV)},
year={2020}
}
