Towards Realtime MOT

邁向現實時間

消息：

• [2021.08.19] Samylee的純C ++重新實現。如果您想在自己的項目中部署JDE，很有幫助！
• [2021.06.01] Baidu Paddlepaddle團隊的一個不錯的重新實現（和文檔）。
• [2020.07.14]我們的論文被ECCV 2020接受！
• [2020.01.29]更多型號上傳了！最快的速度約為38 fps！ 。
• [2019.10.11]上傳的培訓和評估數據！有關詳細信息，請參見Dataset_zoo.md。
• [2019.10.01]發布的演示代碼和預培訓模型發布了！

介紹

此存儲庫是聯合檢測和嵌入（JDE）模型的代碼庫。 JDE是一個快速且高性能的多對象跟踪器，在共享神經網絡中同時學習對象檢測任務和外觀嵌入任務。技術細節在我們的ECCV 2020論文中描述了。通過使用此倉庫，您只需在MOT-16挑戰的“私有”方案上實現MOTA 64％+ ，並且在22〜38 fps的接近實時速度（請注意，此速度適用於整個系統，包括檢測步驟！

我們希望該回購將幫助研究/工程師開發更實用的MOT系統。對於算法開發，我們提供培訓數據，基線模型和評估方法來建立一個級別的操場。對於應用程序使用情況，我們還提供了一個小型視頻演示，該演示將原始視頻作為輸入而無需任何鈴鐺和哨聲。

要求

• Python 3.6
• pytorch> = 1.2.0
• Python-Opencv
• PY-MOTMETRICS（ pip install motmetrics ）
• Cython-bbox（ pip install cython_bbox ）
• （可選）FFMPEG（在視頻演示中使用）
• （可選）Syncbn（編譯並將其放在utils/syncbn下，或者簡單地用nn.batchnorm替換）
• MaskRCNN基準（在此項目中使用其GPU NMS）

視頻演示

用法：

 python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
               --output-format video --output-root path/to/output/root

Docker演示示例

docker build -t towards-realtime-mot docker/

docker run --rm --gpus all -v $( pwd ) /:/Towards-Realtime-MOT -ti towards-realtime-mot /bin/bash
cd /Towards-Realtime-MOT ;
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
               --output-format video --output-root path/to/output/root

數據集動物園

有關培訓/評估數據集的詳細說明，請參見Dataset_zoo.md。

預驗證的模型和基線模型

Darknet-53 Imagenet預估計的模型：[Darknet官員]

具有不同輸入分辨率的訓練有素的模型：

模型	Mota	IDF1	IDS	fp	fn	FPS	關聯
JDE-1088X608	73.1	68.9	1312	6593	21788	22.2	[Google] [Baidu]
JDE-864x480	70.8	65.8	1279	5653	25806	30.3	[Google] [Baidu]
JDE-576x320	63.7	63.3	1307	6657	32794	37.9	[Google] [Baidu]

該性能在MOT-16訓練集上進行了測試，僅供參考。在NVIDIA TITAN XP GPU上測試了運行速度。有關與其他方法進行更全面的比較，您可以在MOT-16測試集上測試，並將結果提交為MOT-16基準測試。請注意，結果應提交給私人檢測器軌道。

測試MOT-16挑戰

 python track.py --cfg ./cfg/yolov3_1088x608.cfg --weights /path/to/model/weights

默認情況下，腳本在MOT-16訓練集上進行評估。如果要在測試集上評估，請在命令行中添加--test-mot16 。結果保存在$DATASET_ROOT/results/*.txt中的文本文件中。您還可以添加--save-images或--save-videos標誌以獲得可視化的結果。可視化的結果保存在$DATASET_ROOT/outputs/

培訓指導

• 下載培訓數據集。
• 編輯cfg/ccmcpe.json ，配置培訓/驗證組合。數據集由圖像列表表示，請參見data/*.train 。
• 運行訓練腳本：

 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python train.py 

我們使用8x NVIDIA TITAN XP來訓練該模型，批量大小為32。您可以根據您的GPU數量調整批量大小（以及一起學習率）。您也可以使用較小的圖像尺寸訓練，這將帶來更快的推理時間。但是請注意，圖像大小最好是32（下採樣率）的倍數。

使用自定義數據集訓練

添加自定義數據集非常簡單，您需要做的就是以與我們的培訓集相同的格式組織註釋文件。請參閱Dataset_zoo.md以獲取數據集格式。

相關資源

• Fairmot：基於JDE框架，SOTA性能的改進方法。
• CSTRACK：JDE的更好的解開檢測/嵌入頭。
• JDE-PADDLE：Baidu Paddlepaddle團隊的一個不錯的重新實施（和文檔）。
• JDE-CPP：Samylee的純C ++重新實現。如果您想在自己的項目中部署JDE，很有幫助！

致謝

從Ultrytics/Yolov3和Longcw/Motdt借用了很大一部分代碼，這要歸功於它們的出色工作！

引用

如果您發現此存儲庫在您的項目或研究中有用，請考慮引用它：

 @article{wang2019towards,
  title={Towards Real-Time Multi-Object Tracking},
  author={Wang, Zhongdao and Zheng, Liang and Liu, Yixuan and Wang, Shengjin},
  journal={The European Conference on Computer Vision (ECCV)},
  year={2020}
}