Towards Realtime MOT
1.0.0
NACHRICHT:
Dieses Repo ist die A -Codebasis des JDE -Modells für gemeinsame Erkennung und Einbettung (JDE). JDE ist ein schneller und leistungsstärkerer Multiple-Object-Tracker, der die Aufgabe und das Aussehen der Objekterkennungsaufgabe und das Einbettungsaufgang simutan in einem gemeinsam genutzten neuronalen Netzwerk lernt. Technische Details sind in unserem ECCV 2020 -Papier beschrieben. Durch die Verwendung dieses Repo können Sie einfach die MOTA 64%+ im "privaten" Protokoll der MOT-16-Herausforderung und mit einer nahezu Echtzeitgeschwindigkeit von 22 bis 38 fps erreichen (beachten Sie, dass diese Geschwindigkeit für das gesamte System, einschließlich der Erkennungsschritt!
Wir hoffen, dass dieses Repo Forschungen/Ingenieure hilft, praktischere MOT -Systeme zu entwickeln. Für die Entwicklung von Algorithmus bieten wir Schulungsdaten, Basismodelle und Bewertungsmethoden, um einen Level -Spielplatz zu erzielen. Für die Anwendungsnutzung bieten wir auch eine kleine Video -Demo an, die Rohvideos als Eingabe ohne Glocken und Pfeifen aufnimmt.
pip install motmetrics )pip install cython_bbox )
Verwendung:
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
docker build -t towards-realtime-mot docker/
docker run --rm --gpus all -v $( pwd ) /:/Towards-Realtime-MOT -ti towards-realtime-mot /bin/bash
cd /Towards-Realtime-MOT ;
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
Eine detaillierte Beschreibung der Schulungs-/Bewertungsdatensätze finden Sie unter dataset_zoo.md.
Darknet-53 ImageNet Presented Model: [DarkNet Official]
Geschulte Modelle mit unterschiedlichen Eingabeauflösungen:
| Modell | Mota | IDF1 | IDS | FP | Fn | Fps | Link |
|---|---|---|---|---|---|---|---|
| JDE-1088X608 | 73.1 | 68,9 | 1312 | 6593 | 21788 | 22.2 | [Google] [Baidu] |
| JDE-864X480 | 70,8 | 65,8 | 1279 | 5653 | 25806 | 30.3 | [Google] [Baidu] |
| JDE-576X320 | 63.7 | 63.3 | 1307 | 6657 | 32794 | 37,9 | [Google] [Baidu] |
Die Leistung wird am TOT-16-Trainingssatz getestet, nur als Referenz. Die Laufgeschwindigkeit wird an einer Nvidia Titan XP GPU getestet. Für einen umfassenderen Vergleich mit anderen Methoden können Sie den MOT-16-Testsatz testen und ein Ergebnis an den TOT-16-Benchmark einreichen. Beachten Sie, dass die Ergebnisse der privaten Detektorspur übermittelt werden sollten.
python track.py --cfg ./cfg/yolov3_1088x608.cfg --weights /path/to/model/weights
Standardmäßig wird im Skript die Bewertung im MOT-16-Trainingssatz ausgeführt. Wenn Sie im Testsatz bewerten möchten, fügen Sie die Befehlszeile bitte hinzu --test-mot16 . Die Ergebnisse werden in Textdateien in $DATASET_ROOT/results/*.txt gespeichert. Sie können auch --save-images oder --save-videos -Flags hinzufügen, um die visualisierten Ergebnisse zu erhalten. Visualisierte Ergebnisse werden in $DATASET_ROOT/outputs/
cfg/ccmcpe.json , konfigurieren Sie die Trainings-/Validierungskombinationen. Ein Datensatz wird durch eine Bildliste dargestellt. Weitere Informationen finden Sie in data/*.train Zum Beispiel. CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python train.py
Wir verwenden 8x Nvidia Titan XP, um das Modell mit einer Stapelgröße von 32 zu trainieren. Sie können die Chargengröße (und die Lernrate) anhand dessen, wie viele GPUs Sie haben, anpassen. Sie können auch mit einer kleineren Bildgröße trainieren, die eine schnellere Inferenzzeit bringt. Beachten Sie jedoch, dass die Bildgröße besser als Multiples von 32 (die Abtastrate) sein musste.
Das Hinzufügen benutzerdefinierter Datensätze ist recht einfach. Sie müssen lediglich Ihre Annotationsdateien im selben Format wie in unseren Trainingssätzen organisieren. Weitere Informationen finden Sie im Datensatzformat in DataSet_zoo.md.
Ein großer Teil des Codes wird von Ultralytics/Yolov3 und LongCW/Motdt entlehnt, vor vielen dank ihrer wunderbaren Arbeit!
Wenn Sie dieses Repo für Ihr Projekt oder Ihre Forschung nützlich finden, sollten Sie sich dies angeben:
@article{wang2019towards,
title={Towards Real-Time Multi-Object Tracking},
author={Wang, Zhongdao and Zheng, Liang and Liu, Yixuan and Wang, Shengjin},
journal={The European Conference on Computer Vision (ECCV)},
year={2020}
}
