VERI-Wild:大型資料集和野外車輛重新識別的新方法
野外大規模車輛重識別資料集(VERI-Wild)是在不受約束的場景下,從由 174 個攝影機組成的大型閉路電視監控系統在一個月(30*24 小時)內捕獲的。攝影機分佈在200多平方公里的大城市區域。 YOLO-v2 [2] 用於偵測車輛的邊界框。原始車輛影像集包含1,200萬張車輛影像,邀請11名志工對資料集進行為期1個月的清理。經過資料清洗和標註,收集到40,671個身分的416,314張車輛影像。 VERI-Wild 的統計數據如圖所示。出於隱私問題,車牌在資料集中被封鎖。 VERI-Wild的顯著特徵概括為以下幾個面向:
Unconstrained capture conditions in the wild
VERI-Wild 資料集是從由 174 個監控攝影機組成的真實閉路電視攝影機系統收集的,其中無約束的影像捕捉條件帶來了各種挑戰。
Complex capture conditions
174個監視器分佈在200多平方公里的城區,呈現各種背景、解析度、視點、野外遮蔽等狀況。在極端情況下,一輛車會出現在 40 多個不同的相機中,這對 ReID 演算法來說是一個挑戰。
Large time span involving severe illumination and weather changes
VERI-Wild 是從 125、280 (174x24x30) 小時的影片中收集的。圖(b)給出了30天內24小時上午、中午、下午、晚上4個時段的車輛分佈。 VERI-Wild還包含惡劣的天氣條件,例如下雨、有霧等,這是以前的資料集中沒有提供的。
Rich Context Information
我們提供豐富的上下文信息,例如攝影機ID、時間戳、攝影機之間的追蹤關係,這些資訊有可能促進攝影機網路中行為分析的研究,例如車輛行為建模、跨攝影機追蹤和基於圖的檢索。
重要的!
請注意,對於 VERI-Wild 測試集,給定查詢影像,您需要刪除圖庫集中與查詢影像具有相同相機 id 和相同車輛 id 的影像。計算 mAP 和 CMC 時不考慮它們。
@inproceedings{lou2019large, title={VERI-Wild: A Large Dataset and a New Method for Vehicle Re-Identification in the Wild}, author={Lou, Yihang and Bai, Yan and Liu, Jun and Wang, Shiqi and Duan, Ling-Yu}, booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition}, pages = {3235--3243}, year={2019} }
@inproceedings{lou2019large, title={Disentangled Feature Learning Network and a Comprehensive Benchmark for Vehicle Re-Identification}, author={Bai, Yan and Liu, Jun and Lou, Yihang and Wang, Ce and Duan, Ling-Yu}, booktitle={In IEEE Transactions on Pattern Analysis and Machine Intelligence}, year={2021} }
白彥,Email:[email protected]
為了鼓勵相關研究,我們將根據您的要求提供資料集。請將您的全名和單位透過電子郵件發送給聯絡人(yanbai at pku dot edu dot cn)。我們要求您提供資訊只是為了確保資料集用於非商業目的。我們不會提供給任何第三方或在任何地方公開發布。由於隱私問題,我們將來不會提供車牌。如果您下載我們的資料集,則表示您已同意我們電子郵件中的存取條款。
方法 | 小的 | 中等的 | 大的 | ||||||
地圖 | 前1名 | 前5名 | 地圖 | 前1名 | 前5名 | 地圖 | 前1名 | 前5名 | |
谷歌網路[1] | 24.27 | 57.16 | 75.13 | 24.15 | 53.16 | 71.1 | 21.53 | 44.61 | 63.55 |
FDA-Net(VGGM)[2] | 35.11 | 64.03 | 82.80 | 29.80 | 57.82 | 78.34 | 22.78 | 49.43 | 70.48 |
MLSL[3] | 46.32 | - | - | 42.37 | - | - | 36.61 | - | - |
三元組(Resnet50) | 58.43 | 65.76 | 86.98 | 49.72 | 57.76 | 80.86 | 38.57 | 47.65 | 71.66 |
FDA-Net(Resnet50)[2] | 61.57 | 73.62 | 91.23 | 52.69 | 64.29 | 85.39 | 45.78 | 58.76 | 80.97 |
AAVER(Resnet50)[4] | 62.23 | 75.80 | 92.70 | 53.66 | 68.24 | 88.88 | 41.68 | 58.69 | 81.59 |
DFLNet(Resnet50)[5] | 68.21 | 80.68 | 93.24 | 60.07 | 70.67 | 89.25 | 49.02 | 61.60 | 82.73 |
BS(行動網路)[6] | 70.54 | 84.17 | 95.30 | 62.83 | 78.22 | 93.06 | 51.63 | 69.99 | 88.45 |
UMTS(Resnet50)[7] | 72.7 | 84.5 | - | 66.1 | 79.3 | - | 54.2 | 72.8 | - |
強基線(Resnet50)[8] | 76.61 | 90.83 | 97.29 | 70.11 | 87.45 | 95.24 | 61.3 | 82.58 | 92.73 |
HPGN(Resnet50+PGN)[9] | 80.42 | 91.37 | - | 75.17 | 88.21 | - | 65.04 | 82.68 | - |
魅力(Resnet50+PGN)[10] | 77.15 | 92.13 | 97.43 | - | - | - | - | - | - |
PVEN(Resnet50)[12] | 79.8 | 94.01 | 98.06 | 73.9 | 92.03 | 97.15 | 66.2 | 88.62 | 95.31 |
保存器(Resnet50)[11] | 80.9 | 93.78 | 97.93 | 75.3 | 92.7 | 97.48 | 67.7 | 89.5 | 95.8 |
DFNet(Resnet50)[14] | 83.09 | 94.79 | 98.05 | 77.27 | 93.22 | 97.46 | 69.85 | 89.38 | 96.03 |
方法 | 全部測試集 | 測試裝置A | 測試集B | ||||||
地圖 | 前1名 | 前5名 | 地圖 | 前1名 | 前5名 | 地圖 | 前1名 | 前5名 | |
強基線 (Resnet50) [8] | 34.71 | 54.37 | 63.99 | 32.75 | 40.12 | 52.18 | 42.25 | 82.72 | 90.67 |
GSTE (Resnet50)(附技巧袋)[13] | 32.57 | 59.25 | 64.48 | 33.01 | 47.54 | 50.81 | 41.82 | 86.08 | 91.43 |
FDA-Net (Resnet50)(附技巧袋)[2] | 34.21 | 57.32 | 64.90 | 34.63 | 45.53 | 52.77 | 3.93 | 84.78 | 92.47 |
曾經(Resnet50)[41] | 36.8 | 59.1 | 67.6 | 36.8 | 48.7 | 57.3 | 45.4 | 86.1 | 94.3 |
PVEN(Resnet50)[12] | 37.15 | 61.19 | 68.63 | 38.77 | 51.28 | 59.32 | 45.48 | 88.05 | 94.35 |
保存器(Resnet50)[11] | 38.0 | 62.1 | 69.50 | 39.2 | 52.3 | 60.2 | 45.1 | 88.1 | 94.1 |
DFNet(Resnet50)[14] | 39.84 | 62.21 | 68.90 | 40.39 | 51.68 | 60.51 | 46.13 | 88.56 | 94.17 |
[1] Yang, L., Luo, P., Change Loy, C., Tang, X.:用於細粒度分類和驗證的大規模汽車資料集。請參閱:IEEE 電腦視覺和模式識別會議。 (2015)
[2] Lou, Y., Bai, Y., Liu, J., Wang, S., Duan, L.: Veri-wild: 野外車輛重識別的大數據集和新方法。請參閱:IEEE 電腦視覺和模式識別會議。 (2019)
[3] Alfasly,S.,Hu,Y.,Li,H.,Liang,T.,Jin,X.,Liu,B.,Zhao,Q.:基於多標籤的相似性學習用於車輛重新識別。 IEEE Access7(2019)
[4] Pirazh, K.、Kumar, A.、Peri, N. 等人:用於車輛重新識別的具有自適應注意力的雙路徑模型。請參閱:IEEE電腦視覺國際會議(2019)
[5] Yan Bai,Yihang Lou,Yongxing Dai,等:用於車輛重識別的解纏結特徵學習網絡。於:IJCAI 2020
[6] Kuma Ratnesh 和 Weill Edwin 等人:車輛重新識別:使用三元組嵌入的有效基線。在 IJCNN 2019
[7] 金鑫,蘭翠玲,曾文軍,陳志博:基於影像的物體重辨識的不確定性感知多鏡頭知識蒸餾。於:AAAI 2020
[8] 羅浩、顧友誌等:Bag of Tricks and a Strong Baseline for Deep Person Re-Identification. 2019 年 CVPR 研討會。
[9] 沉飛,朱建清等:透過混合金字塔圖網路探索車輛重識別的空間意義。在 arXiv 預印本 arXiv:2005.14684
[10] Abhijit Suprem 和 Calton Pu:看起來很迷人:具有全局和本地關注的異質相機網路中的車輛重新識別。在 arXiv 預印本 arXiv:2002.02256
[11] Khorramshahi Pirazh、Peri Neehar、陳俊成、Chellappa Rama:魔鬼藏在細節中:車輛重新識別的自我監督注意力。在 2020 年 ECCV 中
[12] 孟德超,等。 “用於車輛重新識別的基於解析的視圖感知嵌入網路。” IEEE/CVF 電腦視覺與模式辨識會議論文集。 2020.
[13]白彥,樓一航,高峰,王世奇,吳宇偉,段凌宇。用於車輛重新識別的組敏感三元組嵌入。 IEEE 多媒體彙刊,2018 年。
[14]白岩,劉軍,樓一航,王策,段凌宇。解開的特徵學習網絡和車輛重新識別的綜合基準。特帕米 2021。