CoDA_NeurIPS2023ダウンロード - CoDA_NeurIPS2023ソースコードのダウンロード

CoDA_NeurIPS2023

AI ソースコード

1.0.0

ダウンロード

CoDA: オープンボキャブラリ 3D オブジェクト検出のための共同新規ボックス発見とクロスモーダルアライメント (NeurIPS2023)

CoDA にスターを付けて共有してください。ありがとう

[論文] [プロジェクトページ]

ヤン・カオ、イーハン・ゼン、ハン・シュー、ダン・シュー
香港科技大学
ファーウェイ・ノアの方舟研究所

アップデート

☑ 3D ガウススプラッティングを 3D 物体検出に導入する最初の作品として、3DGS-DET がここでリリースされました。

☑ 私たちの拡張作品CoDAv2がリリースされました。arXiv でチェックしてください!

☑ オープン語彙認識に関する最新の論文とコードがここに集められています。

☑ すべてのコード、データ、事前学習済みモデルがリリースされました。

☑ トレーニングコードとテストコードがリリースされました。

☑ 事前学習済みモデルがリリースされました。

☑ OV 設定の SUN-RGBD データセットがリリースされました。

☑ OV 設定の ScanNet データセットがリリースされました。

☑ 紙の LaTeX コードは https://scienhub.com/Yang/CoDA で入手できます。

フレームワーク

サンプル

インストール

私たちのコードは、PyTorch 1.8.1、torchvision==0.9.1、CUDA 10.1、および Python 3.7 に基づいています。他のバージョンでも動作する可能性があります。

次の Python 依存関係もインストールしてください。

 matplotlib
opencv-python
plyfile
'trimesh>=2.35.39,<2.35.40'
'networkx>=2.2,<2.3'
scipy

実行してpointnet2レイヤーをインストールしてください

 cd third_party/pointnet2 && python setup.py install

トレーニングを高速化するには、gIOU の Cythonized 実装をインストールしてください。

 conda install cython
cd utils && python cython_compile.py build_ext --inplace

データセットの準備

OV設定を実現するために、オリジナルのScanNetとSUN RGB-Dを再編成し、より多くのカテゴリーのアノテーションを採用しました。ここで提供している ov 設定データセット (OV SUN RGB-D および OV ScanNet) を直接ダウンロードしてください。次のコマンドを実行して簡単にダウンロードすることもできます。

 bash data_download.sh

次に、ダウンロードした *.tar ファイルに対して実行します。

 bash data_preparation.sh

評価

事前トレーニング済みモデルをここからダウンロードします。次に、次を実行します。

 bash test_release_models.sh

トレーニング

 bash scripts/coda_sunrgbd_stage1.sh
bash scripts/coda_sunrgbd_stage2.sh

サンプルの実行

 bash run_samples.sh

ビブテックス

CoDA が役立つ場合は、以下を引用してください。

 @inproceedings{cao2023coda,
  title={CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection},
  author={Cao, Yang and Zeng, Yihan and Xu, Hang  and  Xu, Dan},
  booktitle={NeurIPS},
  year={2023}
}

@misc{cao2024collaborative,
      title={Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection}, 
      author={Yang Cao and Yihan Zeng and Hang Xu and Dan Xu},
      year={2024},
      eprint={2406.00830},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2406.00830}, 
}