VERI-Wild: um grande conjunto de dados e um novo método para reidentificação de veículos na natureza
Um conjunto de dados ReID de veículos em grande escala na natureza (VERI-Wild) é capturado a partir de um grande sistema de vigilância CCTV que consiste em 174 câmeras durante um mês (30*24h) em cenários irrestritos. As câmeras estão distribuídas em um grande distrito urbano de mais de 200km2. O YOLO-v2 [2] é usado para detectar a caixa delimitadora de veículos. O conjunto bruto de imagens de veículos contém 12 milhões de imagens de veículos e 11 voluntários são convidados para limpar o conjunto de dados por 1 mês. Após limpeza e anotação dos dados, são coletadas 416.314 imagens de veículos de 40.671 identidades. As estatísticas do VERI-Wild são ilustradas na Figura. Por questões de privacidade, as placas são mascaradas no conjunto de dados. As características distintivas do VERI-Wild são resumidas nos seguintes aspectos:
Unconstrained capture conditions in the wild O conjunto de dados VERI-Wild é coletado de um sistema real de câmeras CCTV composto por 174 câmeras de vigilância, no qual as condições irrestritas de captura de imagens representam uma variedade de desafios.
Complex capture conditions As 174 câmeras de vigilância estão distribuídas em um distrito urbano ao longo de 200km2, apresentando diversos fundos, resoluções, pontos de vista e oclusão na natureza. Em casos extremos, um veículo aparece em mais de 40 câmeras diferentes, o que seria um desafio para os algoritmos ReID.
Large time span involving severe illumination and weather changes O VERI-Wild é coletado de uma duração de 125.280 (174x24x30) horas de vídeo. A Figura (b) apresenta as distribuições de veículos em 4 intervalos de tempo de 24 horas, ou seja, manhã, meio-dia, tarde e noite durante 30 dias. VERI-Wild também contém condições climáticas ruins, como chuva, neblina, etc., que não são fornecidas em conjuntos de dados anteriores.
Rich Context Information Fornecemos informações de contexto ricas, como IDs de câmeras, carimbo de data/hora, relação de rastreamento entre câmeras, que têm potencial para facilitar a pesquisa sobre análise de comportamento em redes de câmeras, como modelagem de comportamento de veículos, rastreamento entre câmeras e recuperação baseada em gráficos.
Importante!!!!!!!!!
Observe que, para o conjunto de testes VERI-Wild, dada uma imagem de consulta, você precisa remover as imagens com o mesmo ID de câmera e mesmo ID de veículo da imagem de consulta no conjunto de galeria. Eles não são considerados no cálculo do mAP e do CMC.
@inproceedings{lou2019large,
title={VERI-Wild: A Large Dataset and a New Method for Vehicle Re-Identification in the Wild},
author={Lou, Yihang and Bai, Yan and Liu, Jun and Wang, Shiqi and Duan, Ling-Yu},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
pages = {3235--3243},
year={2019}
}
@inproceedings{lou2019large,
title={Disentangled Feature Learning Network and a Comprehensive Benchmark for Vehicle Re-Identification},
author={Bai, Yan and Liu, Jun and Lou, Yihang and Wang, Ce and Duan, Ling-Yu},
booktitle={In IEEE Transactions on Pattern Analysis and Machine Intelligence},
year={2021}
}
Yan Bai, e-mail: [email protected]
Para incentivar pesquisas relacionadas, forneceremos o conjunto de dados de acordo com sua solicitação. Envie por e-mail seu nome completo e afiliação para a pessoa de contato (yanbai at pku dot edu dot cn). Solicitamos suas informações apenas para garantir que o conjunto de dados seja usado para fins não comerciais. Não o daremos a terceiros nem o publicaremos publicamente em qualquer lugar. Devido à questão de privacidade, não forneceremos as placas no futuro. Se você baixar nosso conjunto de dados, significa que concordou com nossos termos de acesso no e-mail.
| Métodos | Pequeno | Médio | Grande | ||||||
| mapa | Top1 | 5 principais | mapa | Top1 | 5 principais | mapa | Top1 | 5 principais | |
| GoogleNet[1] | 24.27 | 57.16 | 75,13 | 24h15 | 53.16 | 71,1 | 21.53 | 44,61 | 63,55 |
| Rede FDA (VGGM)[2] | 35.11 | 64.03 | 82,80 | 29,80 | 57,82 | 78,34 | 22,78 | 49,43 | 70,48 |
| MLSL[3] | 46,32 | - | - | 42,37 | - | - | 36,61 | - | - |
| Trigêmeo (Resnet50) | 58,43 | 65,76 | 86,98 | 49,72 | 57,76 | 80,86 | 38,57 | 47,65 | 71,66 |
| FDA-Net(Resnet50)[2] | 61,57 | 73,62 | 91,23 | 52,69 | 64,29 | 85,39 | 45,78 | 58,76 | 80,97 |
| AAVER(Resnet50)[4] | 62,23 | 75,80 | 92,70 | 53,66 | 68,24 | 88,88 | 41,68 | 58,69 | 81,59 |
| DFLNet(Resnet50)[5] | 68,21 | 80,68 | 93,24 | 60.07 | 70,67 | 89,25 | 49.02 | 61,60 | 82,73 |
| BS (rede móvel)[6] | 70,54 | 84,17 | 95h30 | 62,83 | 78,22 | 93.06 | 51,63 | 69,99 | 88,45 |
| UMTS(Resnet50)[7] | 72,7 | 84,5 | - | 66,1 | 79,3 | - | 54,2 | 72,8 | - |
| Linha de base forte (Resnet50)[8] | 76,61 | 90,83 | 97,29 | 70.11 | 87,45 | 95,24 | 61,3 | 82,58 | 92,73 |
| HPGN(Resnet50+PGN)[9] | 80,42 | 91,37 | - | 75,17 | 88,21 | - | 65.04 | 82,68 | - |
| GLAMOUR(Resnet50+PGN)[10] | 77,15 | 92,13 | 97,43 | - | - | - | - | - | - |
| PVEN(Resnet50)[12] | 79,8 | 94.01 | 98.06 | 73,9 | 92.03 | 97,15 | 66,2 | 88,62 | 95,31 |
| ECONOMIZADOR(Resnet50)[11] | 80,9 | 93,78 | 97,93 | 75,3 | 92,7 | 97,48 | 67,7 | 89,5 | 95,8 |
| DFNet(Resnet50)[14] | 83.09 | 94,79 | 98,05 | 77,27 | 93,22 | 97,46 | 69,85 | 89,38 | 96.03 |
| Métodos | Conjunto de testes tudo | Conjunto de testes A | Conjunto de testes B | ||||||
| mapa | Top1 | 5 principais | mapa | Top1 | 5 principais | mapa | Top1 | 5 principais | |
| Linha de base forte (Resnet50) [8] | 34,71 | 54,37 | 63,99 | 32,75 | 40.12 | 52.18 | 42,25 | 82,72 | 90,67 |
| GSTE (Resnet50) (com saco de truques) [13] | 32,57 | 59,25 | 64,48 | 33.01 | 47,54 | 50,81 | 41,82 | 86.08 | 91,43 |
| FDA-Net (Resnet50) (com muitos truques) [2] | 34.21 | 57,32 | 64,90 | 34,63 | 45,53 | 52,77 | 3,93 | 84,78 | 92,47 |
| SEMPRE (Resnet50) [41] | 36,8 | 59,1 | 67,6 | 36,8 | 48,7 | 57,3 | 45,4 | 86,1 | 94,3 |
| PVEN(Resnet50)[12] | 37,15 | 61.19 | 68,63 | 38,77 | 51,28 | 59,32 | 45,48 | 88,05 | 94,35 |
| ECONOMIZADOR(Resnet50)[11] | 38,0 | 62,1 | 69,50 | 39,2 | 52,3 | 60,2 | 45,1 | 88,1 | 94,1 |
| DFNet(Resnet50)[14] | 39,84 | 62,21 | 68,90 | 40,39 | 51,68 | 60,51 | 46.13 | 88,56 | 94,17 |
[1] Yang, L., Luo, P., Change Loy, C., Tang, X .: Um conjunto de dados de automóveis em grande escala para categorização e verificação refinadas. In: Conferência IEEE sobre Visão Computacional e Reconhecimento de Padrões. (2015)
[2] Lou, Y., Bai, Y., Liu, J., Wang, S., Duan, L.: Veri-wild: Um grande conjunto de dados e um novo método para reidentificação de veículos na natureza. In: Conferência IEEE sobre Visão Computacional e Reconhecimento de Padrões. (2019)
[3] Alfasly, S., Hu, Y., Li, H., Liang, T., Jin, X., Liu, B., Zhao, Q .: Aprendizagem de similaridade baseada em múltiplos rótulos para reidentificação de veículos. Acesso IEEE7(2019)
[4] Pirazh, K., Kumar, A., Peri, N., et al: Um modelo de caminho duplo com atenção adaptativa para reidentificação de veículos. In: Conferência Internacional IEEE sobre Visão Computacional (2019)
[5] Yan Bai, Yihang Lou, Yongxing Dai, et al: Rede de aprendizagem de recursos desembaraçados para reidentificação de veículos. In: IJCAI 2020
[6] Kuma Ratnesh e Weill Edwin et al: Reidentificação de veículos: uma linha de base eficiente usando incorporação tripla. NA IJCNN 2019
[7] Xin Jin, Cuiling Lan, Wenjun Zeng, Zhibo Chen: Destilação de conhecimento multi-shot com reconhecimento de incerteza para reidentificação de objetos baseada em imagem. In: AAAI 2020
[8] Luo Hao e Gu Youzhi e outros: Saco de truques e uma base sólida para reidentificação profunda de pessoas. No workshop CVPR 2019.
[9] Shen Fei, Zhu Jianqing et al: Explorando a significância espacial por meio da rede híbrida de gráficos piramidais para reidentificação de veículos. Na pré-impressão do arXiv arXiv:2005.14684
[10] Abhijit Suprem e Calton Pu: Parecendo GLAMOROSO: Re-Id de veículos em redes de câmeras heterogêneas com atenção global e local. Na pré-impressão do arXiv arXiv:2002.02256
[11] Khorramshahi Pirazh, Peri Neehar, Chen Jun-cheng, Chellappa Rama: O diabo está nos detalhes: atenção autosupervisionada para reidentificação de veículos. Na ECCV 2020
[12] Meng, Dechao, et al. "Rede de incorporação com reconhecimento de visualização baseada em análise para reidentificação de veículos." Anais da Conferência IEEE/CVF sobre Visão Computacional e Reconhecimento de Padrões. 2020.
[13] Yan Bai, Yihang Lou, Feng Gao, Shiqi Wang, Yuwei Wu e Lingyu Duan. Incorporação tripla sensível a grupo para reidentificação de veículos. Transações IEEE em Multimídia, 2018.
[14] Yan Bai, Jun Liu, Yihang Lou, Ce Wang e Lingyu Duan. Rede de aprendizagem de características desemaranhadas e uma referência abrangente para reidentificação de veículos. Tpami 2021.
