CIRR
1.0.0
이 저장소에는 CIRR ( 실제 이미지에 대한 합성 이미지 검색 ) 데이터 세트가 포함되어 있습니다.
자세한 내용은 ICCV 2021 논문 - 사전 훈련된 시각 및 언어 모델을 사용한 실제 이미지의 이미지 검색을 참조하세요.
현재 데이터세트 저장소를 보고 계십니다. 사이트 탐색 > 프로젝트 홈페이지 | 코드 저장소
뉴스 및 향후 업데이트
우리의 데이터세트는 이 작업에 대한 기존 데이터세트인 Fashion-IQ와 유사한 방식으로 구성되어 있습니다. 파일에는 주석, 원시 이미지 및 선택적인 사전 추출된 이미지 기능이 포함됩니다.
다음을 통해 주석을 얻습니다.
# create a `data` folder at your desired location
mkdir data
cd data
# clone the cirr_dataset branch to the local data/cirr folder
git clone -b cirr_dataset [email protected]:Cuberick-Orion/CIRR.git cirr data/cirr 폴더에는 모든 관련 주석이 포함되어 있습니다. 파일 구조는 아래에 설명되어 있습니다.
2024년 10월 업데이트 -- NLVR2의 원시 이미지에 액세스하는 데 문제가 있는 경우 당사에 문의하세요.
2023년 말부터 우리는 여러 연구 그룹으로부터 NLVR2 팀이 요청에 응답하지 않는다는 사실을 알게 되었습니다. 이를 위해 원시 이미지를 얻으려면 다음 단계를 참조하십시오.
중요한
NLVR2 저장소는 이미지를 얻는 또 다른 방법, 즉 URL을 통해 이미지를 다운로드하는 방법을 제공합니다. 그러나 많은 링크가 깨져 있고 다운로드한 파일의 /train 폴더에 하위 폴더 구조가 없기 때문에 권장 하지 않습니다 .
대신 위의 지침에 따라 Raw 이미지를 직접 다운로드하시기 바랍니다.
사용 가능한 이미지 기능 유형은 다음과 같습니다.
우리가 제공하는 각 zip 파일에는 개별 이미지 기능 파일인 .pkl 폴더가 포함되어 있습니다.
다운로드가 완료되면 아래 파일 구조에 따라 data/cirr/ 에 압축을 풀어주세요.
data
└─── cirr
├─── captions
│ cap.VER.test1.json
│ cap.VER.train.json
│ cap.VER.val.json
├─── captions_ext
│ cap.ext.VER.test1.json
│ cap.ext.VER.train.json
│ cap.ext.VER.val.json
├─── image_splits
│ split.VER.test1.json
│ split.VER.train.json
│ split.VER.val.json
├─── img_raw
│ ├── train
│ │ ├── 0 # sub-level folder structure inherited from NLVR2 (carries no special meaning in CIRR)
│ │ │ <IMG0_ID>.png
│ │ │ <IMG0_ID>.png
│ │ │ ...
│ │ ├── 1
│ │ │ <IMG0_ID>.png
│ │ │ <IMG0_ID>.png
│ │ │ ...
│ │ ├── 2
│ │ │ <IMG0_ID>.png
│ │ │ <IMG0_ID>.png
│ │ └── ...
│ ├── dev
│ │ <IMG0_ID>.png
│ │ <IMG1_ID>.png
│ │ ...
│ └── test1
│ <IMG0_ID>.png
│ <IMG1_ID>.png
│ ...
├─── img_feat_res152
│ <Same subfolder structure as above>
└─── img_feat_frcnn
<Same subfolder structure as above>
captions/cap.VER.SPLIT.json
각 요소에는 쿼리 대상 쌍에 대한 핵심 정보가 포함된 요소 목록입니다.
각 항목에 대한 자세한 내용은 지원 항목에서 확인할 수 있습니다. 매트. 비서. 우리 신문의 G.
{ "pairid" : 12063 ,
"reference" : " test1-147-1-img1 " ,
"target_hard" : " test1-83-0-img1 " ,
"target_soft" : { "test1-83-0-img1" : 1.0 },
"caption" : " remove all but one dog and add a woman hugging it " ,
"img_set" : { "id" : 1 ,
"members" : [ " test1-147-1-img1 " ,
" test1-1001-2-img0 " ,
" test1-83-1-img1 " ,
" test1-359-0-img1 " ,
" test1-906-0-img1 " ,
" test1-83-0-img1 " ],
"reference_rank" : 3 ,
"target_rank" : 4 }
} captions_ext/cap.ext.VER.SPLIT.json
각 요소에는 쿼리 대상 쌍에 대한 보조 주석이 포함된 요소 목록입니다.
보조 주석에 대한 자세한 내용은 지원 문서에서 확인할 수 있습니다. 매트. 비서. 우리 논문의 C.
{ "pairid" : 12063 ,
"reference" : " test1-147-1-img1 " ,
"target_hard" : " test1-83-0-img1 " ,
"caption_extend" : { "0" : " being a photo of dogs " ,
"1" : " add a big dog " ,
"2" : " more focused on the hugging " ,
"3" : " background should contain grass " }
} image_splits/split.VER.SPLIT.json
"test1-147-1-img1" : " ./test1/test1-147-1-img1.png " ,
# or
"train-11041-2-img0" : " ./train/34/train-11041-2-img0.png " img_feat_<...>/
< IMG0_ID > = "test1-147-1-img1.png" . replace ( '.png' , '.pkl' )test1-147-1-img1.pkl 이므로 각 파일을 이름으로 직접 색인화할 수 있습니다. 우리는 CIRR의 테스트 분할에 대한 실제 정보를 게시하지 않습니다. 대신, 테스트 분할에 대한 결과를 게시하려는 경우 평가 서버가 여기에 호스팅됩니다. 테스트 분할 서버의 기능은 점진적으로 업데이트됩니다.
테스트 분할 서버 지침을 참조하세요.
서버는 CECS ANU에서 독립적으로 호스팅되므로 사이트가 다운되면 이메일을 보내주세요.
우리는 MIT 라이센스에 따라 CIRR 주석에 대한 라이센스를 받았습니다. 자세한 내용은 LICENSE 파일을 참조하세요.
NLVR2 라이센스에 따라 CIRR에 사용된 이미지에 대한 저작권은 당사가 보유하지 않으므로 라이센스를 부여하지 않습니다.
CIRR에 사용된 이미지는 NLVR2 데이터세트에서 가져온 것입니다. 사용자는 서비스 약관의 구속을 받습니다.
귀하의 연구에 도움이 된다면 우리 논문을 인용해 주십시오.
@InProceedings { Liu_2021_ICCV ,
author = { Liu, Zheyuan and Rodriguez-Opazo, Cristian and Teney, Damien and Gould, Stephen } ,
title = { Image Retrieval on Real-Life Images With Pre-Trained Vision-and-Language Models } ,
booktitle = { Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) } ,
month = { October } ,
year = { 2021 } ,
pages = { 2125-2134 }
}데이터 세트, 모델 또는 출판물에 관해 질문이 있는 경우 프로젝트 저장소에 문제를 생성하거나 이메일을 보내주십시오.
