Unduhan CoDA_NeurIPS2023 - Unduhan kode sumber CoDA

CoDA_NeurIPS2023

Kode Sumber AI

1.0.0

Unduh

CoDA: Penemuan Kotak Novel Kolaboratif dan Penyelarasan Lintas Modal untuk Deteksi Objek 3D Kosakata Terbuka (NeurIPS2023)

Silakan bintangi CoDA dan bagikan. Terima kasih

[Kertas] [Halaman Proyek]

Yang Cao, Yihan Zeng, Hang Xu, Dan Xu
Universitas Sains dan Teknologi Hong Kong
Lab Bahtera Nuh Huawei

Pembaruan

☑ Sebagai karya pertama yang memperkenalkan 3D Gaussian Splatting ke dalam Deteksi Objek 3D, 3DGS-DET dirilis di sini!

☑ CoDAv2 karya kami yang diperluas telah dirilis, lihat di arXiv!

☑ Makalah & kode terbaru tentang persepsi kosakata terbuka dikumpulkan di sini.

☑ Semua kode, data, dan model terlatih telah dirilis!

☑ Kode pelatihan dan pengujian telah dirilis.

☑ Model yang telah dilatih sebelumnya telah dirilis.

☑ Kumpulan data SUN-RGBD dengan pengaturan OV telah dirilis.

☑ Kumpulan data ScanNet pengaturan OV telah dirilis.

☑ Kode Paper LaTeX tersedia di https://scienhub.com/Yang/CoDA.

Kerangka

Sampel

Instalasi

Kode kami didasarkan pada PyTorch 1.8.1, torchvision==0.9.1, CUDA 10.1 dan Python 3.7. Ini mungkin berfungsi dengan versi lain.

Silakan instal juga dependensi Python berikut:

 matplotlib
opencv-python
plyfile
'trimesh>=2.35.39,<2.35.40'
'networkx>=2.2,<2.3'
scipy

Silakan instal lapisan pointnet2 dengan menjalankan

 cd third_party/pointnet2 && python setup.py install

Silakan instal implementasi gIOU yang di-cythonized untuk pelatihan yang lebih cepat.

 conda install cython
cd utils && python cython_compile.py build_ext --inplace

Persiapan kumpulan data

Untuk mencapai pengaturan OV, kami mengatur ulang ScanNet dan SUN RGB-D asli dan mengadopsi anotasi dari lebih banyak kategori. Silahkan langsung download dataset ov-setting yang kami sediakan disini: OV SUN RGB-D dan OV ScanNet. Anda juga dapat mengunduhnya dengan mudah dengan menjalankan:

 bash data_download.sh

Kemudian jalankan file *.tar yang diunduh:

 bash data_preparation.sh

Evaluasi

Unduh model terlatih di sini. Kemudian jalankan:

 bash test_release_models.sh

Pelatihan

 bash scripts/coda_sunrgbd_stage1.sh
bash scripts/coda_sunrgbd_stage2.sh

Sampel yang Berjalan

 bash run_samples.sh

BibTeX

Jika CoDA bermanfaat, harap kutip:

 @inproceedings{cao2023coda,
  title={CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection},
  author={Cao, Yang and Zeng, Yihan and Xu, Hang  and  Xu, Dan},
  booktitle={NeurIPS},
  year={2023}
}

@misc{cao2024collaborative,
      title={Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection}, 
      author={Yang Cao and Yihan Zeng and Hang Xu and Dan Xu},
      year={2024},
      eprint={2406.00830},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2406.00830}, 
}