تنزيل CoDA_NeurIPS2023 - تنزيل كود المصدر CoDA

CoDA_NeurIPS2023

كود الذكاء الاصطناعي

1.0.0

تنزيل

CoDA: اكتشاف الصندوق الجديد التعاوني والمحاذاة عبر الوسائط لاكتشاف الكائنات ثلاثية الأبعاد ذات المفردات المفتوحة (NeurIPS2023)

يرجى نجمة CoDA ومشاركتها. شكرًا

[الورقة] [صفحة المشروع]

يانغ كاو، ييهان تسنغ، هانغ شو، دان شو
جامعة هونغ كونغ للعلوم والتكنولوجيا
مختبر سفينة نوح هواوي

التحديثات

☑ كأول عمل يقدم تقنية الرش الغاوسي ثلاثي الأبعاد في اكتشاف الكائنات ثلاثية الأبعاد، تم إصدار 3DGS-DET هنا!

☑ تم إصدار CoDAv2 لعملنا الممتد، قم بمراجعته على arXiv!

☑ تم جمع أحدث الأوراق والأكواد حول إدراك المفردات المفتوحة هنا.

☑ تم إصدار جميع الرموز والبيانات والنماذج المدربة مسبقًا!

☑ تم إصدار أكواد التدريب والاختبار.

☑ تم إصدار النماذج المدربة مسبقًا.

☑ تم إصدار مجموعات بيانات SUN-RGBD الخاصة بإعدادات OV.

☑ تم إصدار مجموعات بيانات ScanNet الخاصة بإعدادات OV.

☑ تتوفر رموز Paper LaTeX على https://scienhub.com/Yang/CoDA.

نطاق

عينات

تثبيت

يعتمد الكود الخاص بنا على PyTorch 1.8.1 وtorchvision==0.9.1 وCUDA 10.1 وPython 3.7. قد تعمل مع الإصدارات الأخرى.

الرجاء أيضًا تثبيت تبعيات Python التالية:

 matplotlib
opencv-python
plyfile
'trimesh>=2.35.39,<2.35.40'
'networkx>=2.2,<2.3'
scipy

الرجاء تثبيت طبقات pointnet2 عن طريق التشغيل

 cd third_party/pointnet2 && python setup.py install

الرجاء تثبيت تطبيق Cythonized لـ gIOU للتدريب بشكل أسرع.

 conda install cython
cd utils && python cython_compile.py build_ext --inplace

إعداد مجموعة البيانات

لتحقيق إعداد OV، قمنا بإعادة تنظيم ScanNet وSUN RGB-D الأصليين واعتماد التعليقات التوضيحية لمزيد من الفئات. يُرجى تنزيل مجموعات بيانات إعدادات البيض التي نقدمها هنا مباشرةً: OV SUN RGB-D وOV ScanNet. يمكنك أيضًا تنزيلها بسهولة عن طريق تشغيل:

 bash data_download.sh

ثم قم بتشغيل ملف *.tar الذي تم تنزيله:

 bash data_preparation.sh

تقييم

قم بتنزيل النماذج المُدربة مسبقًا هنا. ثم قم بتشغيل:

 bash test_release_models.sh

تمرين

 bash scripts/coda_sunrgbd_stage1.sh
bash scripts/coda_sunrgbd_stage2.sh

تشغيل العينات

 bash run_samples.sh

بيبيتكس

إذا كانت CoDA مفيدة، يرجى الاستشهاد بما يلي:

 @inproceedings{cao2023coda,
  title={CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection},
  author={Cao, Yang and Zeng, Yihan and Xu, Hang  and  Xu, Dan},
  booktitle={NeurIPS},
  year={2023}
}

@misc{cao2024collaborative,
      title={Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection}, 
      author={Yang Cao and Yihan Zeng and Hang Xu and Dan Xu},
      year={2024},
      eprint={2406.00830},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2406.00830}, 
}