Towards Realtime MOT
1.0.0
НОВОСТИ:
Это репо является кодовой базой модели совместного обнаружения и встраивания (JDE). JDE-это быстрый и высокопроизводительный трекер с несколькими объектами, который изучает задачу обнаружения объекта и встраивание по встроению внешнего вида в одновременно в общей нейронной сети. Технологические детали описаны в нашей бумаге ECCV 2020. Используя этот репо, вы можете просто достичь MOTA 64%+ по «частному» протоколу MOT-16 Challenge, а также со скоростью в режиме реального времени со скоростью 22 ~ 38 кадров в секунду (обратите внимание на эту скорость для всей системы, включая Шаг обнаружения!
Мы надеемся, что это репо поможет исследованиям/инженерам разработать более практические системы MOT. Для разработки алгоритма мы предоставляем учебные данные, базовые модели и методы оценки для создания игровой площадки. Для использования приложений мы также предоставляем небольшой видео демо, который снимает необработанные видео в качестве входных данных без каких -либо наворотов.
pip install motmetrics )pip install cython_bbox )
Использование:
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
docker build -t towards-realtime-mot docker/
docker run --rm --gpus all -v $( pwd ) /:/Towards-Realtime-MOT -ti towards-realtime-mot /bin/bash
cd /Towards-Realtime-MOT ;
python demo.py --input-video path/to/your/input/video --weights path/to/model/weights
--output-format video --output-root path/to/output/root
Пожалуйста, смотрите Dataset_zoo.md для подробного описания наборов данных обучения/оценки.
Darknet-53 ImageNet Pretending Model: [Darknet Official]
Обученные модели с различными входными разрешениями:
| Модель | Мота | IDF1 | Идентификаторы | Фп | Фн | Кадр | Связь |
|---|---|---|---|---|---|---|---|
| JDE-1088X608 | 73.1 | 68.9 | 1312 | 6593 | 21788 | 22.2 | [Google] [Baidu] |
| JDE-864X480 | 70.8 | 65,8 | 1279 | 5653 | 25806 | 30.3 | [Google] [Baidu] |
| JDE-576X320 | 63,7 | 63,3 | 1307 | 6657 | 32794 | 37.9 | [Google] [Baidu] |
Производительность проверяется на учебном наборе MOT-16, только для справки. Скорость бега проверяется на графическом процессоре Nvidia Titan XP. Для более полного сравнения с другими методами вы можете проверить на тестовом наборе MOT-16 и представить результат на эталон MOT-16. Обратите внимание, что результаты должны быть представлены на трек частного детектора.
python track.py --cfg ./cfg/yolov3_1088x608.cfg --weights /path/to/model/weights
По умолчанию сценарий запускает оценку на учебном наборе MOT-16. Если вы хотите оценить тестовый набор, пожалуйста, добавьте --test-mot16 в командную строку. Результаты сохраняются в текстовых файлах в $DATASET_ROOT/results/*.txt . Вы также можете добавить флаги --save-images или флаги --save-videos чтобы получить визуализированные результаты. Визуализированные результаты сохраняются в $DATASET_ROOT/outputs/
cfg/ccmcpe.json , конфигурация комбинации обучения/валидации. Набор данных представлен списком изображений, см. data/*.train . CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python train.py
Мы используем 8X NVIDIA Titan XP для обучения модели с размером партии 32. Вы можете настроить размер партии (и скорость обучения вместе) в соответствии с тем, сколько у вас графических процессоров. Вы также можете тренироваться с меньшим размером изображения, который принесет более быстрое время вывода. Но обратите внимание, что размер изображения был лучше, чтобы быть кратным 32 (скорость снижения).
Добавить пользовательские Datsets довольно просто, все, что вам нужно сделать, это организовать ваши аннотация файлы в том же формате, что и в наших учебных наборах. Пожалуйста, обратитесь к DATASET_ZOO.MD для формата набора данных.
Большая часть кода заимствована у Ultralytics/Yolov3 и Longcw/Motdt, большое спасибо их замечательной работе!
Если вы обнаружите, что это репо полезным в своем проекте или исследованиях, пожалуйста, рассмотрите возможность ссылаться на него:
@article{wang2019towards,
title={Towards Real-Time Multi-Object Tracking},
author={Wang, Zhongdao and Zheng, Liang and Liu, Yixuan and Wang, Shengjin},
journal={The European Conference on Computer Vision (ECCV)},
year={2020}
}
