ВЕРИ-Дикий

VERI-Wild: большой набор данных и новый метод повторной идентификации транспортных средств в дикой природе

Описание набора данных VERI-Wild

Крупномасштабный набор данных ReID транспортных средств в дикой природе (VERI-Wild) собирается с помощью большой системы видеонаблюдения, состоящей из 174 камер, в течение одного месяца (30*24 часа) при неограниченных сценариях. Камеры распределены по крупному городскому округу площадью более 200 км2. YOLO-v2 [2] используется для обнаружения ограничивающей рамки транспортных средств. Набор необработанных изображений транспортных средств содержит 12 миллионов изображений транспортных средств, и 11 добровольцев приглашаются для очистки набора данных в течение 1 месяца. После очистки и аннотирования данных собрано 416 314 изображений транспортных средств 40 671 личности. Статистика VERI-Wild представлена на рисунке. В целях конфиденциальности номерные знаки в наборе данных замаскированы. Отличительные особенности VERI-Wild сводятся к следующим аспектам:

Unconstrained capture conditions in the wild Набор данных VERI-Wild собран из реальной системы камер видеонаблюдения, состоящей из 174 камер наблюдения, в которой неограниченные условия захвата изображения создают множество проблем.

Complex capture conditions 174 камеры наблюдения разбросаны по городскому району площадью более 200 км² и демонстрируют различные фоны, разрешения, точки обзора и окклюзию в дикой природе. В крайних случаях одно транспортное средство появляется более чем в 40 различных камерах, что может оказаться сложной задачей для алгоритмов ReID.

Large time span involving severe illumination and weather changes VERI-Wild собран из продолжительности 125, 280 (174x24x30) видеочасов. На рисунке (b) показано распределение транспортных средств в 4 временных интервалах по 24 часа, т.е. утро, полдень, день и вечер в течение 30 дней. VERI-Wild также содержит данные о плохих погодных условиях, таких как дождь, туман и т. д., которые не были представлены в предыдущих наборах данных.

Rich Context Information Мы предоставляем обширную контекстную информацию, такую как идентификаторы камер, временные метки, взаимосвязь между камерами, что потенциально может облегчить исследования по анализу поведения в сетях камер, например, моделирование поведения транспортных средств, отслеживание между камерами и извлечение на основе графиков.

Тест

Важный!!!!!!!!!

Обратите внимание, что для тестового набора VERI-Wild, учитывая изображение запроса, вам необходимо удалить изображения с тем же идентификатором камеры и тем же идентификатором транспортного средства, что и изображение запроса, в наборе галереи. Они не учитываются при расчете mAP и CMC.

Цитирование

 @inproceedings{lou2019large,
 title={VERI-Wild: A Large Dataset and a New Method for Vehicle Re-Identification in the Wild},
 author={Lou, Yihang and Bai, Yan and Liu, Jun and Wang, Shiqi and Duan, Ling-Yu},
 booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
 pages = {3235--3243},
 year={2019}
}

 @inproceedings{lou2019large,
 title={Disentangled Feature Learning Network and a Comprehensive Benchmark for Vehicle Re-Identification},
 author={Bai, Yan and Liu, Jun and Lou, Yihang and Wang, Ce and Duan, Ling-Yu},
 booktitle={In IEEE Transactions on Pattern Analysis and Machine Intelligence},
 year={2021}
}

Контактор

Ян Бай, электронная почта: [email protected]

Чтобы стимулировать соответствующие исследования, мы предоставим набор данных по вашему запросу. Отправьте электронное письмо контактному лицу со своим полным именем и указанием принадлежности (yanbai at pku dot edu dot cn). Мы запрашиваем вашу информацию только для того, чтобы убедиться, что набор данных используется в некоммерческих целях. Мы не будем передавать его третьим лицам и нигде публиковать публично. Из соображений конфиденциальности мы не будем предоставлять номерные знаки в будущем. Если вы загрузите наш набор данных, это означает, что вы согласились с нашими условиями доступа, указанными в электронном письме.

Современные результаты на наборе данных VeRi-Wild

Методы	Маленький			Середина			Большой
	карта	Топ1	Топ5	карта	Топ1	Топ5	карта	Топ1	Топ5
GoogleNet[1]	24.27	57,16	75.13	24.15	53,16	71,1	21.53	44,61	63,55
Сеть FDA (VGGM) [2]	35.11	64.03	82,80	29.80	57,82	78,34	22,78	49,43	70,48
МЛСЛ[3]	46,32	-	-	42,37	-	-	36,61	-	-
Тройка (Resnet50)	58,43	65,76	86,98	49,72	57,76	80,86	38,57	47,65	71,66
FDA-Net (Resnet50) [2]	61,57	73,62	91,23	52,69	64,29	85,39	45,78	58,76	80,97
ААВЕР(Resnet50)[4]	62,23	75,80	92,70	53,66	68,24	88,88	41,68	58,69	81,59
DFLNet(Resnet50)[5]	68,21	80,68	93,24	60.07	70,67	89,25	49.02	61,60	82,73
БС (мобильная сеть) [6]	70,54	84,17	95.30	62,83	78,22	93.06	51,63	69,99	88,45
UMTS(Resnet50)[7]	72,7	84,5	-	66,1	79,3	-	54,2	72,8	-
Сильная базовая линия (Resnet50) [8]	76,61	90,83	97,29	70.11	87,45	95,24	61,3	82,58	92,73
HPGN(Resnet50+PGN)[9]	80,42	91,37	-	75,17	88,21	-	65.04	82,68	-
ГЛАМУР(Resnet50+PGN)[10]	77,15	92,13	97,43	-	-	-	-	-	-
ПВЭН(Resnet50)[12]	79,8	94.01	98.06	73,9	92.03	97,15	66,2	88,62	95,31
ЭКОНОМИКА(Resnet50)[11]	80,9	93,78	97,93	75,3	92,7	97,48	67,7	89,5	95,8
ДФНет(Resnet50)[14]	83.09	94,79	98.05	77,27	93,22	97,46	69,85	89,38	96.03

Современные результаты на наборе данных VeRi-Wild 2.0

Методы	Тестовый набор Все			Тестовый набор А			Тестовый набор Б
	карта	Топ1	Топ5	карта	Топ1	Топ5	карта	Топ1	Топ5
Сильная база (Resnet50) [8]	34,71	54,37	63,99	32,75	40.12	52,18	42,25	82,72	90,67
GSTE (Resnet50) (с набором хитростей)[13]	32,57	59,25	64,48	33.01	47,54	50,81	41,82	86.08	91,43
FDA-Net (Resnet50) (с набором хитростей) [2]	34.21	57,32	64,90	34,63	45,53	52,77	3,93	84,78	92,47
ВСЕГДА (Resnet50) [41]	36,8	59,1	67,6	36,8	48,7	57,3	45,4	86,1	94,3
ПВЭН(Resnet50)[12]	37.15	61,19	68,63	38,77	51,28	59,32	45,48	88.05	94,35
ЭКОНОМИКА(Resnet50)[11]	38,0	62,1	69,50	39,2	52,3	60,2	45,1	88,1	94,1
ДФНет(Resnet50)[14]	39,84	62,21	68,90	40.39	51,68	60,51	46.13	88,56	94,17

[1] Ян, Л., Луо, П., Чанг Лой, К., Тан, X.: Крупномасштабный набор данных об автомобилях для детальной категоризации и проверки. В: Конференция IEEE по компьютерному зрению и распознаванию образов. (2015)

[2] Лу Ю., Бай Ю., Лю Дж., Ван С., Дуань Л.: Veri-wild: большой набор данных и новый метод повторной идентификации транспортных средств в дикой природе. В: Конференция IEEE по компьютерному зрению и распознаванию образов. (2019)

[3] Альфасли С., Ху Ю., Ли Х., Лян Т., Цзинь Х., Лю Б., Чжао К.: Обучение на основе сходства на основе нескольких меток для повторной идентификации транспортных средств. IEEE Доступ7 (2019)

[4] Пираж К., Кумар А., Пери Н. и др. Модель двойного пути с адаптивным вниманием для повторной идентификации транспортных средств. В: Международная конференция IEEE по компьютерному зрению (2019).

[5] Ян Бай, Ихан Лу, Юнсин Дай и др.: Сеть изучения распутанных функций для повторной идентификации транспортных средств. В: IJCAI 2020

[6] Кума Ратнеш, Вейл Эдвин и др.: Повторная идентификация транспортных средств: эффективный базовый уровень с использованием встраивания триплетов. В IJCNN 2019

[7] Синь Цзинь, Цуйлин Лань, Вэньцзюнь Цзэн, Чжибо Чен: Многократная дистилляция знаний с учетом неопределенности для повторной идентификации объектов на основе изображений. В: АААИ 2020

[8] Луо Хао, Гу Ючжи и др.: Мешок хитростей и прочная основа для глубокой переидентификации человека. На семинаре CVPR 2019.

[9] Шэнь Фей, Чжу Цзяньцин и др.: Исследование пространственной значимости с помощью сети гибридных пирамидальных графов для повторной идентификации транспортных средств. В препринте arXiv arXiv:2005.14684

[10] Абхиджит Супрем и Калтон Пу: ГЛАМУРНО: Идентификация транспортных средств в гетерогенных сетях камер с глобальным и локальным вниманием. В препринте arXiv arXiv:2002.02256

[11] Хоррамшахи Пираж, Пери Нихар, Чэнь Цзюнь-чэн, Челлапа Рама: Дьявол кроется в деталях: Самоконтролируемое внимание для повторной идентификации транспортных средств. В ECCV 2020

[12] Мэн, Дечао и др. «Встраиваемая сеть на основе синтаксического анализа для повторной идентификации транспортных средств». Материалы конференции IEEE/CVF по компьютерному зрению и распознаванию образов. 2020.

[13] Ян Бай, Ихан Лу, Фэн Гао, Шици Ван, Ювэй Ву и Линъюй Дуань. Встраивание группового чувствительного триплета для повторной идентификации транспортного средства. Транзакции IEEE в мультимедиа, 2018.

[14] Ян Бай, Цзюнь Лю, Ихан Лу, Се Ван и Линъюй Дуань. Сеть изучения распутанных функций и комплексный тест для повторной идентификации транспортных средств. Тпами 2021.

Расширять

Дополнительная информация