CIRR
1.0.0
يحتوي هذا المستودع على مجموعة بيانات C المكونة من I mage R على مجموعة بيانات صور الحياة الحقيقية ( CIRR ).
لمزيد من التفاصيل، يرجى الاطلاع على ورقة ICCV 2021 الخاصة بنا - استرجاع الصور من صور الحياة الواقعية باستخدام نماذج الرؤية واللغة المدربة مسبقًا .
أنت تقوم حاليًا بعرض مستودع مجموعة البيانات . التنقل في الموقع > الصفحة الرئيسية للمشروع | مستودع الكود
الأخبار والتحديثات القادمة
تم تنظيم مجموعة البيانات الخاصة بنا بطريقة مشابهة لـ Fashion-IQ، وهي مجموعة بيانات موجودة حول هذه المهمة. تتضمن الملفات تعليقات توضيحية وصورًا أولية وميزات الصور الاختيارية المستخرجة مسبقًا.
الحصول على التعليقات التوضيحية عن طريق:
# create a `data` folder at your desired location
mkdir data
cd data
# clone the cirr_dataset branch to the local data/cirr folder
git clone -b cirr_dataset [email protected]:Cuberick-Orion/CIRR.git cirr يحتوي المجلد data/cirr على جميع التعليقات التوضيحية ذات الصلة. يتم وصف بنية الملف أدناه.
تم التحديث في أكتوبر 2024 - يرجى الاتصال بنا إذا كنت تواجه مشكلة في الوصول إلى الصور الأولية من NLVR2.
بدءًا من أواخر عام 2023، أبلغتنا مجموعات بحثية متعددة أن فريق NLVR2 لا يستجيب لطلباتهم. وتحقيقًا لهذه الغاية، يرجى الاطلاع على الخطوات التالية للحصول على الصور الأولية:
مهم
يوفر مستودع NLVR2 طريقة أخرى للحصول على الصور، وهي تنزيل الصور عن طريق عناوين URL. لكننا لا ننصح بذلك، حيث أن العديد من الروابط معطلة، والملفات التي تم تنزيلها تفتقر إلى بنية المجلد الفرعي في المجلد /train .
بدلاً من ذلك، يرجى اتباع التعليمات المذكورة أعلاه لتنزيل الصور الأولية مباشرةً.
الأنواع المتوفرة من ميزات الصورة هي:
يحتوي كل ملف zip نقدمه على مجلد من ملفات ميزات الصور الفردية .pkl .
بمجرد التنزيل، قم بفك ضغطه في data/cirr/ ، متبعًا بنية الملف أدناه.
data
└─── cirr
├─── captions
│ cap.VER.test1.json
│ cap.VER.train.json
│ cap.VER.val.json
├─── captions_ext
│ cap.ext.VER.test1.json
│ cap.ext.VER.train.json
│ cap.ext.VER.val.json
├─── image_splits
│ split.VER.test1.json
│ split.VER.train.json
│ split.VER.val.json
├─── img_raw
│ ├── train
│ │ ├── 0 # sub-level folder structure inherited from NLVR2 (carries no special meaning in CIRR)
│ │ │ <IMG0_ID>.png
│ │ │ <IMG0_ID>.png
│ │ │ ...
│ │ ├── 1
│ │ │ <IMG0_ID>.png
│ │ │ <IMG0_ID>.png
│ │ │ ...
│ │ ├── 2
│ │ │ <IMG0_ID>.png
│ │ │ <IMG0_ID>.png
│ │ └── ...
│ ├── dev
│ │ <IMG0_ID>.png
│ │ <IMG1_ID>.png
│ │ ...
│ └── test1
│ <IMG0_ID>.png
│ <IMG1_ID>.png
│ ...
├─── img_feat_res152
│ <Same subfolder structure as above>
└─── img_feat_frcnn
<Same subfolder structure as above>
captions/cap.VER.SPLIT.json
قائمة العناصر، حيث يحتوي كل عنصر على معلومات أساسية عن زوج الاستعلام والهدف.
يمكن العثور على تفاصيل حول كل إدخال في الملحق. حصيرة. ثانية. G من ورقتنا.
{ "pairid" : 12063 ,
"reference" : " test1-147-1-img1 " ,
"target_hard" : " test1-83-0-img1 " ,
"target_soft" : { "test1-83-0-img1" : 1.0 },
"caption" : " remove all but one dog and add a woman hugging it " ,
"img_set" : { "id" : 1 ,
"members" : [ " test1-147-1-img1 " ,
" test1-1001-2-img0 " ,
" test1-83-1-img1 " ,
" test1-359-0-img1 " ,
" test1-906-0-img1 " ,
" test1-83-0-img1 " ],
"reference_rank" : 3 ,
"target_rank" : 4 }
} captions_ext/cap.ext.VER.SPLIT.json
قائمة العناصر، حيث يحتوي كل عنصر على تعليقات توضيحية مساعدة على زوج استعلام مستهدف.
يمكن العثور على تفاصيل حول التعليقات التوضيحية المساعدة في الملحق. حصيرة. ثانية. ج من ورقتنا.
{ "pairid" : 12063 ,
"reference" : " test1-147-1-img1 " ,
"target_hard" : " test1-83-0-img1 " ,
"caption_extend" : { "0" : " being a photo of dogs " ,
"1" : " add a big dog " ,
"2" : " more focused on the hugging " ,
"3" : " background should contain grass " }
} image_splits/split.VER.SPLIT.json
"test1-147-1-img1" : " ./test1/test1-147-1-img1.png " ,
# or
"train-11041-2-img0" : " ./train/34/train-11041-2-img0.png " img_feat_<...>/
< IMG0_ID > = "test1-147-1-img1.png" . replace ( '.png' , '.pkl' )test1-147-1-img1.pkl ، بحيث يمكن فهرسة كل ملف مباشرة حسب اسمه. نحن لا ننشر الحقيقة الأساسية لتقسيم الاختبار لـ CIRR. بدلاً من ذلك، تتم استضافة خادم التقييم هنا، إذا كنت تفضل نشر النتائج على قسم الاختبار. سيتم تحديث وظائف خادم الاختبار المقسم بشكل تدريجي.
راجع تعليمات الخادم المقسم للاختبار.
تتم استضافة الخادم بشكل مستقل في CECS ANU، لذا يرجى مراسلتنا عبر البريد الإلكتروني إذا كان الموقع معطلاً.
لقد قمنا بترخيص التعليقات التوضيحية لـ CIRR بموجب ترخيص MIT. يرجى الرجوع إلى ملف الترخيص للحصول على التفاصيل.
بعد ترخيص NLVR2، لا نقوم بترخيص الصور المستخدمة في CIRR، لأننا لا نحتفظ بحقوق الطبع والنشر لها.
يتم الحصول على الصور المستخدمة في CIRR من مجموعة بيانات NLVR2. يجب أن يكون المستخدمون مقيدين بشروط الخدمة الخاصة به.
يرجى الاستشهاد بمقالتنا إذا كان ذلك يساعد في بحثك:
@InProceedings { Liu_2021_ICCV ,
author = { Liu, Zheyuan and Rodriguez-Opazo, Cristian and Teney, Damien and Gould, Stephen } ,
title = { Image Retrieval on Real-Life Images With Pre-Trained Vision-and-Language Models } ,
booktitle = { Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) } ,
month = { October } ,
year = { 2021 } ,
pages = { 2125-2134 }
}إذا كانت لديك أي أسئلة بخصوص مجموعة البيانات أو النموذج أو المنشور، فيرجى إنشاء مشكلة في مستودع المشروع أو مراسلتنا عبر البريد الإلكتروني.
