ดาวน์โหลด CoDA_NeurIPS2023 - ดาวน์โหลด CoDA

CoDA_NeurIPS2023

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

CoDA: การค้นพบกล่องนวนิยายการทำงานร่วมกันและการจัดตำแหน่งข้ามโมดอลสำหรับการตรวจจับวัตถุ 3 มิติแบบคำศัพท์เปิด (NeurIPS2023)

โปรดติดดาว CoDA และแบ่งปัน ขอบคุณ

[กระดาษ] [หน้าโครงการ]

หยาง เฉา, ยี่หาน เจิง, หัง ซู, ตัน ซู
มหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยีฮ่องกง
ห้องทดลอง Ark ของ Huawei Noah

อัพเดท

☑ เนื่องจากเป็นงานแรกที่แนะนำ 3D Gaussian Splatting ในการตรวจจับวัตถุ 3 มิติ 3DGS-DET จึงเปิดตัวที่นี่ !

☑ ส่วนขยาย CoDAv2 ของเราเปิดตัวแล้ว ลองดูใน arXiv !

☑ มีการรวบรวมเอกสารและรหัสล่าสุดเกี่ยวกับการรับรู้คำศัพท์แบบเปิดไว้ที่นี่

☑ รหัส ข้อมูล และโมเดลที่ฝึกไว้ทั้งหมดได้รับการเผยแพร่แล้ว!

☑ รหัสการฝึกอบรมและการทดสอบได้รับการเผยแพร่แล้ว

☑รุ่นที่ฝึกไว้ออกแล้ว

☑ ชุดข้อมูล SUN-RGBD ที่ตั้งค่า OV ได้รับการเผยแพร่แล้ว

☑ ชุดข้อมูล ScanNet ที่ตั้งค่า OV ได้รับการเผยแพร่แล้ว

☑ รหัส Paper LaTeX มีอยู่ที่ https://scienhub.com/Yang/CoDA

กรอบ

ตัวอย่าง

การติดตั้ง

โค้ดของเราใช้ PyTorch 1.8.1, torchvision==0.9.1, CUDA 10.1 และ Python 3.7 อาจทำงานร่วมกับเวอร์ชันอื่นได้

โปรดติดตั้งการพึ่งพา Python ต่อไปนี้ด้วย:

 matplotlib
opencv-python
plyfile
'trimesh>=2.35.39,<2.35.40'
'networkx>=2.2,<2.3'
scipy

โปรดติดตั้งเลเยอร์ pointnet2 ด้วยการเรียกใช้

 cd third_party/pointnet2 && python setup.py install

โปรดติดตั้งการใช้งาน Cythonized ของ gIOU เพื่อการฝึกอบรมที่รวดเร็วยิ่งขึ้น

 conda install cython
cd utils && python cython_compile.py build_ext --inplace

การเตรียมชุดข้อมูล

เพื่อให้บรรลุการตั้งค่า OV เราได้จัดระเบียบ ScanNet และ SUN RGB-D ดั้งเดิมใหม่ และใช้คำอธิบายประกอบในหมวดหมู่ต่างๆ มากขึ้น โปรดดาวน์โหลดชุดข้อมูลการตั้งค่า ov ที่เราให้ไว้ที่นี่โดยตรง: OV SUN RGB-D และ OV ScanNet คุณยังสามารถดาวน์โหลดได้อย่างง่ายดายด้วยการเรียกใช้:

 bash data_download.sh

จากนั้นเรียกใช้ไฟล์ *.tar ที่ดาวน์โหลดมา:

 bash data_preparation.sh

การประเมิน

ดาวน์โหลดโมเดลที่ผ่านการฝึกอบรมแล้วได้ที่นี่ จากนั้นเรียกใช้:

 bash test_release_models.sh

การฝึกอบรม

 bash scripts/coda_sunrgbd_stage1.sh
bash scripts/coda_sunrgbd_stage2.sh

กำลังรันตัวอย่าง

 bash run_samples.sh

บิบเท็กซ์

หาก CoDA มีประโยชน์ โปรดอ้างอิง:

 @inproceedings{cao2023coda,
  title={CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection},
  author={Cao, Yang and Zeng, Yihan and Xu, Hang  and  Xu, Dan},
  booktitle={NeurIPS},
  year={2023}
}

@misc{cao2024collaborative,
      title={Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection}, 
      author={Yang Cao and Yihan Zeng and Hang Xu and Dan Xu},
      year={2024},
      eprint={2406.00830},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2406.00830}, 
}