CIRR下載 - CIRR原始碼下載

CIRR

其他源碼

1.0.0

下載

現實生活影像的合成影像檢索

此儲存庫包含現實生活影像的合成影像檢索 ( CIRR ) 資料集。

有關詳細信息，請參閱我們的 ICCV 2021 論文 - Image Retrieval on Real-life Images with Pre-trained Vision-and-Language Models 。

^{您目前正在查看資料集儲存庫。網站導覽 >項目首頁|程式碼庫}

新聞和即將更新

2024 年 10 月如果您在訪問 NLVR2 的原始圖像時遇到問題，請與我們聯絡。
2024 年 6 月下載連結已更新。
請注意我們的論文中有一個拼字錯誤（表 2）—val 中的對數是~~4,184~~ 4,181。

下載 CIRR 資料集

我們的資料集的結構與 Fashion-IQ 類似，Fashion-IQ 是該任務的現有資料集。這些文件包括註釋、原始圖像和可選的預提取圖像特徵。

註解

透過以下方式取得註釋：

 # create a `data` folder at your desired location
mkdir data
cd data

# clone the cirr_dataset branch to the local data/cirr folder
git clone -b cirr_dataset [email protected]:Cuberick-Orion/CIRR.git cirr

data/cirr資料夾包含所有相關註解。文件結構如下所述。

原始影像

2024 年 10 月更新 - 如果您在訪問 NLVR2 的原始圖像時遇到問題，請與我們聯絡。

從 2023 年底開始，多個研究小組通知我們，NLVR2 團隊沒有回應他們的請求。為此，請參閱以下取得原始影像的步驟：

請先聯絡 NLVR 團隊並填寫 Google 表單以同意其服務條款。說明在這裡。
如果您沒有收到 NLVR 團隊的回复，請給我們發送電子郵件。
聯絡我們時，請明確聲明您已填寫 NLVR 團隊的 Google 表單並同意他們的服務條款。

重要的

NLVR2儲存庫提供了另一種獲取影像的方式，即透過URL下載影像。但我們不推薦它，因為許多連結已損壞，下載的檔案缺少/train資料夾中的子資料夾結構。

相反，請按照上述說明直接下載原始圖像。

預提取影像特徵

可用的影像特徵類型有：

ImageNet 預先訓練的 ResNet152 特徵
- 可以從原始影像中提取
- 或下載我們預先擷取的功能
F-RCNN影像區域特徵
- 由 OSCAR 提供，我們的圖像來自 NLVR2
- 下載 CIRR 中使用的功能子集（過濾掉未使用的映像並由我們重新壓縮）
- 或直接從 OSCAR 下載

我們提供的每個zip檔案都包含一個包含各個影像特徵檔.pkl的資料夾。

下載後，將其解壓縮到data/cirr/中，遵循下面的檔案結構。

資料集檔案結構

下載的資料集應如下所示（點擊展開）

 data
└─── cirr
    ├─── captions
    │        cap.VER.test1.json
    │        cap.VER.train.json
    │        cap.VER.val.json
    ├─── captions_ext
    │        cap.ext.VER.test1.json
    │        cap.ext.VER.train.json
    │        cap.ext.VER.val.json
    ├─── image_splits
    │        split.VER.test1.json
    │        split.VER.train.json
    │        split.VER.val.json
    ├─── img_raw  
    │    ├── train
    │    │    ├── 0 # sub-level folder structure inherited from NLVR2 (carries no special meaning in CIRR)
    │    │    │    <IMG0_ID>.png
    │    │    │    <IMG0_ID>.png
    │    │    │         ...
    │    │    ├── 1
    │    │    │    <IMG0_ID>.png
    │    │    │    <IMG0_ID>.png
    │    │    │         ...
    │    │    ├── 2
    │    │    │    <IMG0_ID>.png
    │    │    │    <IMG0_ID>.png
    │    │    └──       ...
    │    ├── dev         
    │    │      <IMG0_ID>.png
    │    │      <IMG1_ID>.png
    │    │           ...
    │    └── test1       
    │           <IMG0_ID>.png
    │           <IMG1_ID>.png
    │                ...
    ├─── img_feat_res152 
    │        <Same subfolder structure as above>
    └─── img_feat_frcnn         
             <Same subfolder structure as above>

資料集檔案描述

captions/cap.VER.SPLIT.json

元素列表，其中每個元素包含查詢目標對的核心資訊。
每個條目的詳細資訊可以在支援中找到。墊。秒。我們論文的G。

點擊查看範例

    { "pairid" : 12063 , 
    "reference" :   " test1-147-1-img1 " , 
    "target_hard" : " test1-83-0-img1 " , 
    "target_soft" : { "test1-83-0-img1" : 1.0 }, 
    "caption" : " remove all but one dog and add a woman hugging   it " , 
    "img_set" : { "id" : 1 , 
                "members" : [ " test1-147-1-img1 " , 
                            " test1-1001-2-img0 " ,  
                            " test1-83-1-img1 " ,           
                            " test1-359-0-img1 " ,  
                            " test1-906-0-img1 " , 
                            " test1-83-0-img1 " ],
                "reference_rank" : 3 , 
                "target_rank" : 4 }
    }

captions_ext/cap.ext.VER.SPLIT.json

元素列表，其中每個元素都包含查詢目標對的輔助註釋。
有關輔助註釋的詳細資訊可以在supp中找到。墊。秒。我們論文的C。

點擊查看範例

    { "pairid" : 12063 , 
    "reference" :   " test1-147-1-img1 " , 
    "target_hard" : " test1-83-0-img1 " , 
    "caption_extend" : { "0" : " being a photo of dogs " , 
                      "1" : " add a big dog " , 
                      "2" : " more focused on the hugging " , 
                      "3" : " background should contain grass " }
    }

image_splits/split.VER.SPLIT.json
- 一個字典，其中每個鍵：值對將圖像檔案名稱對應到 img 檔案的相對路徑，例如：
```
 "test1-147-1-img1" : " ./test1/test1-147-1-img1.png " ,
# or
"train-11041-2-img0" : " ./train/34/train-11041-2-img0.png "
```
- NLVR2 資料集中保留了影像檔案名稱和（訓練分割）子級資料夾結構。
img_feat_<...>/
- 包含某種類型的預先提取的圖像特徵的資料夾，每個檔案保存一張圖像的特徵。
- 檔案名稱是這樣產生的：
```
 < IMG0_ID > = "test1-147-1-img1.png" . replace ( '.png' , '.pkl' )
```
  在本例中為test1-147-1-img1.pkl ，以便每個檔案可以直接按其名稱進行索引。

測試分割評估伺服器

我們不發布 CIRR 測試分割的基本事實。相反，如果您希望在測試拆分上發布結果，則此處託管評估伺服器。測試分割伺服器的功能將逐步更新。

請參閱測試分割伺服器說明。

該伺服器獨立託管在 CECS ANU，因此如果網站發生故障，請發送電子郵件給我們。

執照

我們已根據 MIT 許可證獲得 CIRR 註釋的許可。詳細資訊請參閱 LICENSE 文件。
遵循 NLVR2 許可協議，我們不會對 CIRR 中使用的圖像進行許可，因為我們不擁有這些圖像的版權。
CIRR 中使用的影像源自 NLVR2 資料集。使用者應受其服務條款的約束。

引文

如果我們的論文對您的研究有幫助，請引用：

 @InProceedings { Liu_2021_ICCV ,
    author    = { Liu, Zheyuan and Rodriguez-Opazo, Cristian and Teney, Damien and Gould, Stephen } ,
    title     = { Image Retrieval on Real-Life Images With Pre-Trained Vision-and-Language Models } ,
    booktitle = { Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) } ,
    month     = { October } ,
    year      = { 2021 } ,
    pages     = { 2125-2134 }
}