Towards Realtime MOT
1.0.0
BERITA:
Repo ini adalah basis kode dari model deteksi gabungan dan embedding (JDE). JDE adalah pelacak objek multi-objek yang cepat dan berkinerja tinggi yang mempelajari tugas deteksi objek dan penampilan menanamkan tugas secara simutan dalam jaringan saraf bersama. Detail teknologi dijelaskan dalam makalah ECCV 2020 kami. Dengan menggunakan repo ini, Anda dapat mencapai MOTA 64%+ pada protokol "pribadi" dari MOT-16 Challenge, dan dengan kecepatan hampir real-time pada 22 ~ 38 fps (perhatikan kecepatan ini untuk seluruh sistem, termasuk Langkah Deteksi!)
Kami berharap repo ini akan membantu penelitian/insinyur untuk mengembangkan sistem MOT yang lebih praktis. Untuk pengembangan algoritma, kami menyediakan data pelatihan, model dasar dan metode evaluasi untuk membuat level taman bermain. Untuk penggunaan aplikasi, kami juga menyediakan demo video kecil yang mengambil video mentah sebagai input tanpa lonceng dan peluit.
pip install motmetrics )pip install cython_bbox )
Penggunaan:
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
docker build -t towards-realtime-mot docker/
docker run --rm --gpus all -v $( pwd ) /:/Towards-Realtime-MOT -ti towards-realtime-mot /bin/bash
cd /Towards-Realtime-MOT ;
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
Silakan lihat dataset_zoo.md untuk deskripsi terperinci tentang kataset pelatihan/evaluasi.
Model Pretrained DarkNet-53 Imagenet: [Pejabat Darknet]
Model terlatih dengan resolusi input yang berbeda:
| Model | Mota | IDF1 | IDS | Fp | Fn | FPS | Link |
|---|---|---|---|---|---|---|---|
| JDE-1088X608 | 73.1 | 68.9 | 1312 | 6593 | 21788 | 22.2 | [Google] [Baidu] |
| JDE-864X480 | 70.8 | 65.8 | 1279 | 5653 | 25806 | 30.3 | [Google] [Baidu] |
| JDE-576X320 | 63.7 | 63.3 | 1307 | 6657 | 32794 | 37.9 | [Google] [Baidu] |
Kinerja diuji pada set pelatihan MOT-16, hanya untuk referensi. Kecepatan berjalan diuji pada GPU NVIDIA Titan XP. Untuk perbandingan yang lebih komprehensif dengan metode lain, Anda dapat menguji pada set tes MOT-16 dan mengirimkan hasil ke tolok ukur MOT-16. Perhatikan bahwa hasilnya harus diserahkan ke jalur detektor swasta.
python track.py --cfg ./cfg/yolov3_1088x608.cfg --weights /path/to/model/weights
Secara default skrip menjalankan evaluasi pada set pelatihan MOT-16. Jika Anda ingin mengevaluasi pada set tes, silakan tambahkan --test-mot16 ke baris perintah. Hasil disimpan dalam file teks di $DATASET_ROOT/results/*.txt . Anda juga dapat menambahkan-bendera --save-images atau --save-videos untuk mendapatkan hasil yang divisualisasikan. Hasil yang divisualisasikan disimpan dalam $DATASET_ROOT/outputs/
cfg/ccmcpe.json , konfigurasikan kombinasi pelatihan/validasi. Dataset diwakili oleh daftar gambar, silakan lihat data/*.train misalnya. CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python train.py
Kami menggunakan 8x nvidia titan XP untuk melatih model, dengan ukuran batch 32. Anda dapat menyesuaikan ukuran batch (dan tingkat pembelajaran bersama -sama) sesuai dengan berapa banyak GPU yang Anda miliki. Anda juga dapat berlatih dengan ukuran gambar yang lebih kecil, yang akan membawa waktu inferensi yang lebih cepat. Tetapi perhatikan ukuran gambar lebih baik menjadi kelipatan 32 (laju pengambilan sampel).
Menambahkan datset khusus cukup sederhana, yang perlu Anda lakukan adalah mengatur file anotasi Anda dalam format yang sama seperti pada set pelatihan kami. Silakan merujuk ke dataset_zoo.md untuk format dataset.
Sebagian besar kode dipinjam dari ultralytics/yolov3 dan longcw/motdt, banyak terima kasih atas pekerjaan luar biasa mereka!
Jika Anda menemukan repo ini berguna dalam proyek atau riset Anda, harap pertimbangkan mengutipnya:
@article{wang2019towards,
title={Towards Real-Time Multi-Object Tracking},
author={Wang, Zhongdao and Zheng, Liang and Liu, Yixuan and Wang, Shengjin},
journal={The European Conference on Computer Vision (ECCV)},
year={2020}
}
