Towards Realtime MOT
1.0.0
NOUVELLES:
Ce repo est la base de code A du modèle de détection et d'incorporation (JDE). JDE est un tracker à objet multiple rapide et haute performance qui apprend la tâche de détection d'objet et l'apparence d'intégration de la tâche simutanée dans un réseau neuronal partagé. Les détails techniques sont décrits dans notre article ECCV 2020. En utilisant ce dépôt, vous pouvez simplement atteindre Mota 64% + sur le protocole "privé" du défi MOT-16, et avec une vitesse en temps quasi réel à 22 ~ 38 ips (notez cette vitesse est pour l'ensemble du système, y compris le système, y compris le système, y compris le système, y compris le système, y compris le système, y compris le système Étape de détection!).
Nous espérons que ce repo aidera les recherches / ingénieurs à développer des systèmes modes plus pratiques. Pour le développement de l'algorithme, nous fournissons des données de formation, des modèles de référence et des méthodes d'évaluation pour créer un terrain de jeu de niveau. Pour l'utilisation des applications, nous fournissons également une petite démo vidéo qui prend des vidéos brutes comme entrée sans cloches et sifflets.
pip install motmetrics )pip install cython_bbox )
Usage:
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
docker build -t towards-realtime-mot docker/
docker run --rm --gpus all -v $( pwd ) /:/Towards-Realtime-MOT -ti towards-realtime-mot /bin/bash
cd /Towards-Realtime-MOT ;
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
Veuillez consulter DataSet_zoo.md pour une description détaillée des ensembles de données de formation / évaluation.
Darknet-53 Modèle pré-entraîné ImageNet: [DarkNet Official]
Modèles formés avec différentes résolutions d'entrée:
| Modèle | Mota | Idf1 | Identifiant | Fp | FN | FPS | Lien |
|---|---|---|---|---|---|---|---|
| JDE-1088X608 | 73.1 | 68.9 | 1312 | 6593 | 21788 | 22.2 | [Google] [Baidu] |
| JDE-864X480 | 70.8 | 65.8 | 1279 | 5653 | 25806 | 30.3 | [Google] [Baidu] |
| JDE-576X320 | 63.7 | 63.3 | 1307 | 6657 | 32794 | 37.9 | [Google] [Baidu] |
Les performances sont testées sur l'ensemble de formation MOT-16, juste pour référence. La vitesse d'exécution est testée sur un GPU Nvidia Titan XP. Pour une comparaison plus complète avec d'autres méthodes, vous pouvez tester sur l'ensemble de tests MOT-16 et soumettre un résultat à la référence MOT-16. Notez que les résultats doivent être soumis à la piste du détecteur privé.
python track.py --cfg ./cfg/yolov3_1088x608.cfg --weights /path/to/model/weights
Par défaut, le script exécute l'évaluation de l'ensemble de formation MOT-16. Si vous souhaitez évaluer sur l'ensemble de tests, veuillez ajouter --test-mot16 à la ligne de commande. Les résultats sont enregistrés dans les fichiers texte dans $DATASET_ROOT/results/*.txt . Vous pouvez également ajouter --save-images ou --save-videos Flags pour obtenir les résultats visualisés. Les résultats visualisés sont enregistrés dans $DATASET_ROOT/outputs/
cfg/ccmcpe.json , configurez les combinaisons de formation / validation. Un ensemble de données est représenté par une liste d'images, veuillez consulter data/*.train par exemple. CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python train.py
Nous utilisons 8x Nvidia Titan XP pour former le modèle, avec une taille de lot de 32. Vous pouvez ajuster la taille du lot (et le taux d'apprentissage ensemble) en fonction du nombre de GPU que vous avez. Vous pouvez également vous entraîner avec une taille d'image plus petite, ce qui apportera un temps d'inférence plus rapide. Mais notez que la taille de l'image devait mieux être des multiples de 32 (le taux d'échantillonnage en baisse).
L'ajout de DATSET personnalisés est assez simple, tout ce que vous avez à faire est d'organiser vos fichiers d'annotation dans le même format que dans nos ensembles de formation. Veuillez vous référer à DataSet_zoo.md pour le format de jeu de données.
Une grande partie du code est empruntée à Ultralytics / Yolov3 et Longcw / Motdt, merci beaucoup à leur merveilleux travail!
Si vous trouvez ce dépôt utile dans votre projet ou votre recherche, veuillez envisager de le citer:
@article{wang2019towards,
title={Towards Real-Time Multi-Object Tracking},
author={Wang, Zhongdao and Zheng, Liang and Liu, Yixuan and Wang, Shengjin},
journal={The European Conference on Computer Vision (ECCV)},
year={2020}
}
