CoDA_NeurIPS2023 다운로드 - CoDA_NeurIPS2023 소스 코드 다운로드

CoDA_NeurIPS2023

AI 소스 코드

1.0.0

다운로드

CoDA: 개방형 어휘 3D 객체 감지를 위한 공동 소설 상자 발견 및 교차 모드 정렬(NeurIPS2023)

CoDA에 별표를 표시하고 공유해주세요. 감사해요

[논문] [프로젝트 페이지]

양조, 젱이한, 항쑤, 단쑤
홍콩과기대학교
화웨이 노아의 방주 연구소

업데이트

? 3D 객체 감지에 3D Gaussian Splatting을 도입한 첫 번째 작품인 3DGS-DET가 출시되었습니다!

? 확장 작업 CoDAv2가 출시되었습니다. arXiv에서 확인해 보세요!

✓ 개방형 어휘 인식에 관한 최신 논문 및 코드가 여기에 수집되어 있습니다.

? 모든 코드, 데이터, 사전 학습된 모델이 공개되었습니다!

? 교육 및 테스트 코드가 공개되었습니다.

✓ 사전 학습된 모델이 출시되었습니다.

✓ OV 설정 SUN-RGBD 데이터세트가 출시되었습니다.

✓ OV 설정 ScanNet 데이터세트가 출시되었습니다.

✓ Paper LaTeX 코드는 https://scienhub.com/Yang/CoDA에서 확인할 수 있습니다.

뼈대

샘플

설치

우리 코드는 PyTorch 1.8.1, torchvision==0.9.1, CUDA 10.1 및 Python 3.7을 기반으로 합니다. 다른 버전에서도 작동할 수 있습니다.

다음 Python 종속성도 설치하세요.

 matplotlib
opencv-python
plyfile
'trimesh>=2.35.39,<2.35.40'
'networkx>=2.2,<2.3'
scipy

다음을 실행하여 pointnet2 레이어를 설치하세요.

 cd third_party/pointnet2 && python setup.py install

더 빠른 학습을 위해 gIOU의 Cythonized 구현을 설치하십시오.

 conda install cython
cd utils && python cython_compile.py build_ext --inplace

데이터 세트 준비

OV 설정을 달성하기 위해 원본 ScanNet 및 SUN RGB-D를 재구성하고 더 많은 범주의 주석을 채택했습니다. 당사가 제공하는 OV 설정 데이터세트(OV SUN RGB-D 및 OV ScanNet)를 직접 다운로드하십시오. 다음을 실행하여 쉽게 다운로드할 수도 있습니다.

 bash data_download.sh

그런 다음 다운로드한 *.tar 파일을 실행합니다.

 bash data_preparation.sh

평가

여기에서 사전 훈련된 모델을 다운로드하세요. 그런 다음 다음을 실행하십시오.

 bash test_release_models.sh

훈련

 bash scripts/coda_sunrgbd_stage1.sh
bash scripts/coda_sunrgbd_stage2.sh

샘플 실행

 bash run_samples.sh

BibTeX

CoDA가 도움이 되었다면 다음을 인용해 주세요.

 @inproceedings{cao2023coda,
  title={CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection},
  author={Cao, Yang and Zeng, Yihan and Xu, Hang  and  Xu, Dan},
  booktitle={NeurIPS},
  year={2023}
}

@misc{cao2024collaborative,
      title={Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection}, 
      author={Yang Cao and Yihan Zeng and Hang Xu and Dan Xu},
      year={2024},
      eprint={2406.00830},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2406.00830}, 
}