CoDA_NeurIPS2023下载 - CoDA_NeurIPS2023源码下载

CoDA_NeurIPS2023

Ai源码

1.0.0

下载

CoDA：用于开放词汇 3D 对象检测的协作小说盒发现和跨模式对齐 (NeurIPS2023)

请给 CoDA 星标并分享。谢谢

[论文] [项目页面]

曹阳、曾一涵、徐航、徐丹
香港科技大学
华为诺亚方舟实验室

更新

☑ 作为第一个将 3D 高斯分布引入 3D 物体检测的作品，3DGS-DET 在这里发布！

☑ 我们的扩展工作CoDAv2已发布，请在 arXiv 上查看！

☑ 这里收集了有关开放词汇感知的最新论文和代码。

☑ 所有代码、数据和预训练模型已发布！

☑ 训练和测试代码已发布。

☑ 预训练模型已发布。

☑ OV设置SUN-RGBD数据集已发布。

☑ OV设置的ScanNet数据集已发布。

☑ 纸质 LaTeX 代码可在 https://scienhub.com/Yang/CoDA 上获取。

框架

样品

安装

我们的代码基于 PyTorch 1.8.1、torchvision==0.9.1、CUDA 10.1 和 Python 3.7。它可能适用于其他版本。

另请安装以下 Python 依赖项：

 matplotlib
opencv-python
plyfile
'trimesh>=2.35.39,<2.35.40'
'networkx>=2.2,<2.3'
scipy

请通过运行安装pointnet2层

 cd third_party/pointnet2 && python setup.py install

请安装 gIOU 的 Cythonized 实现以加快训练速度。

 conda install cython
cd utils && python cython_compile.py build_ext --inplace

数据集准备

为了实现OV设置，我们重新组织了原来的ScanNet和SUN RGB-D，并采用了更多类别的标注。请直接下载我们在这里提供的ov设置数据集：OV SUN RGB-D和OV ScanNet。您还可以通过运行以下命令轻松下载它们：

 bash data_download.sh

然后运行下载的 *.tar 文件：

 bash data_preparation.sh

评估

在此处下载预训练模型。然后运行：

 bash test_release_models.sh

训练

 bash scripts/coda_sunrgbd_stage1.sh
bash scripts/coda_sunrgbd_stage2.sh

运行样品

 bash run_samples.sh

书目词典

如果 CoDA 有帮助，请引用：

 @inproceedings{cao2023coda,
  title={CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection},
  author={Cao, Yang and Zeng, Yihan and Xu, Hang  and  Xu, Dan},
  booktitle={NeurIPS},
  year={2023}
}

@misc{cao2024collaborative,
      title={Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection}, 
      author={Yang Cao and Yihan Zeng and Hang Xu and Dan Xu},
      year={2024},
      eprint={2406.00830},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2406.00830}, 
}