Towards Realtime MOT
1.0.0
소식:
이 repo는 JDE (Joint Detection and Embedding) 모델의 코드베이스입니다. JDE는 공유 신경 네트워크에서 동시에 객체 감지 작업 및 외관 임베딩 작업을 배우는 빠르고 고성능 다중 객체 추적기입니다. 기술적 인 세부 사항은 ECCV 2020 논문에 설명되어 있습니다. 이 repo를 사용하면 MOT-16 챌린지의 "개인"프로토콜에서 MOTA 64%+를 단순히 달성 할 수 있으며 22 ~ 38fps 의 실시간 속도가 거의 없습니다 (이 속도는 전체 시스템을 포함하여 전체 시스템에 적합합니다. 감지 단계!))))))))))).
우리는이 리포지어가 연구/엔지니어가보다 실용적인 MOT 시스템을 개발하는 데 도움이되기를 바랍니다. 알고리즘 개발을 위해, 우리는 수준의 놀이터를 만들기위한 교육 데이터, 기준선 모델 및 평가 방법을 제공합니다. 애플리케이션 사용을 위해, 우리는 또한 벨과 휘파람없이 생 동영상을 입력으로 사용하는 작은 비디오 데모를 제공합니다.
pip install motmetrics )pip install cython_bbox )
용법:
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
docker build -t towards-realtime-mot docker/
docker run --rm --gpus all -v $( pwd ) /:/Towards-Realtime-MOT -ti towards-realtime-mot /bin/bash
cd /Towards-Realtime-MOT ;
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
교육/평가 데이터 세트에 대한 자세한 설명은 DataSet_zoo.md를 참조하십시오.
Darknet-53 Imagenet 사전 상환 모델 : [Darknet 공무원]
입력 해상도가 다른 훈련 된 모델 :
| 모델 | 모타 | IDF1 | 이드 | FP | FN | fps | 링크 |
|---|---|---|---|---|---|---|---|
| JDE-1088x608 | 73.1 | 68.9 | 1312 | 6593 | 21788 | 22.2 | [Google] [Baidu] |
| JDE-864X480 | 70.8 | 65.8 | 1279 | 5653 | 25806 | 30.3 | [Google] [Baidu] |
| JDE-576X320 | 63.7 | 63.3 | 1307 | 6657 | 32794 | 37.9 | [Google] [Baidu] |
성능은 참조를 위해 MOT-16 교육 세트에서 테스트됩니다. 실행 속도는 Nvidia Titan XP GPU에서 테스트됩니다. 다른 방법과보다 포괄적 인 비교를 위해 MOT-16 테스트 세트에서 테스트하고 결과를 MOT-16 벤치 마크에 제출할 수 있습니다. 결과는 개인 탐지기 트랙에 제출해야합니다.
python track.py --cfg ./cfg/yolov3_1088x608.cfg --weights /path/to/model/weights
기본적으로 스크립트는 MOT-16 교육 세트에서 평가를 실행합니다. 테스트 세트에서 평가하려면 --test-mot16 명령 줄에 추가하십시오. 결과는 $DATASET_ROOT/results/*.txt 의 텍스트 파일에 저장됩니다. 또한 --save-images 또는 --save-videos 플래그를 추가하여 시각화 된 결과를 얻을 수 있습니다. 시각화 된 결과는 $DATASET_ROOT/outputs/ 에 저장됩니다.
cfg/ccmcpe.json 편집, 교육/검증 조합을 구성하십시오. 데이터 세트는 이미지 목록으로 표시됩니다. 예를 들어 data/*.train 참조하십시오. CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python train.py
우리는 배치 크기가 32 인 모델을 훈련시키기 위해 8x nvidia titan xp를 사용합니다. 배치 크기 (및 학습 속도)를 얼마나 많은 GPU에 따라 조정할 수 있습니다. 더 작은 이미지 크기로 훈련 할 수도 있으므로 추론 시간이 더 빠릅니다. 그러나 이미지 크기는 32의 배수 (다운 샘플링 속도)가 더 좋았다는 점에 유의하십시오.
사용자 정의 DATSET을 추가하는 것은 매우 간단합니다. 교육 세트와 동일한 형식으로 주석 파일을 구성하는 것입니다. DataSet 형식은 DataSet_zoo.md를 참조하십시오.
코드의 상당 부분은 Ultralytics/Yolov3 및 Longcw/Motdt에서 빌려 왔습니다.
프로젝트 나 연구 에서이 리포지어가 유용하다고 생각되면 다음과 같은 인용을 고려하십시오.
@article{wang2019towards,
title={Towards Real-Time Multi-Object Tracking},
author={Wang, Zhongdao and Zheng, Liang and Liu, Yixuan and Wang, Shengjin},
journal={The European Conference on Computer Vision (ECCV)},
year={2020}
}
