跨度3r

利用空间记忆进行 3D 重建

纸|项目页面|视频

利用空间记忆进行 3D 重建
王恒逸、卢尔德·阿加皮托
arXiv 2024

更新

[2024-10-25] 添加对 Nerfstudio 的支持

[2024-10-18] 添加相机参数估计

[2024-09-30] @hugoycj 添加了渐变演示

[2024-09-20] 数据集data_preprocess.md使用说明

[2024-09-11] Spann3R 代码

安装

1. 克隆Spann3R

   git clone https://github.com/HengyiWang/spann3r.git
   cd spann3r

2. 创建conda环境

   conda create -n spann3r python=3.9 cmake=3.14.0
   conda install pytorch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 pytorch-cuda=11.8 -c pytorch -c nvidia  # use the correct version of cuda for your system
   
   pip install -r requirements.txt
   
   # Open3D has a bug from 0.16.0, please use dev version
   pip install -U -f https://www.open3d.org/docs/latest/getting_started.html open3d

3. 为 RoPE 编译 cuda 内核

   cd croco/models/curope/
   python setup.py build_ext --inplace
   cd ../../../

4. 下载 DUSt3R 检查点

   mkdir checkpoints
   cd checkpoints
   # Download DUSt3R checkpoints
   wget https://download.europe.naverlabs.com/ComputerVision/DUSt3R/DUSt3R_ViTLarge_BaseDecoder_512_dpt.pth

5. 下载我们的检查点并将其放在./checkpoints下

演示

1. 下载示例数据（来自map-free-reloc的2个场景）并将其解压缩为./examples

2. 运行演示：

   python demo.py --demo_path ./examples/s00567 --kf_every 10 --vis --vis_cam

   对于可视化--vis ，它会给你一个窗口来调整渲染视图。找到要渲染的视图后，请单击space key并关闭窗口。然后代码将进行增量重建的渲染。

3. 纳夫工作室：

   # Run demo use --save_ori to save scaled intrinsics for original images
   python demo.py --demo_path ./examples/s00567 --kf_every 10 --vis --vis_cam --save_ori
   
   # Run splatfacto
   ns-train splatfacto --data ./output/demo/s00567 --pipeline.model.camera-optimizer.mode SO3xR3
   
   # Render your results
   ns-render interpolate --load-config [path-to-your-config]/config.yml

   请注意，这里您可以使用--save_ori将缩放后的内在函数保存到transform.json中，以使用原始图像训练 NeRF/3D 高斯函数。

音频界面

我们还提供了 Gradio 界面以获得更好的体验，只需运行：

 # 对于 Linux 和 Windows 用户（以及带有 Intel 的 macOS？）python app.py

您可以指定--server_port 、 --share 、 --server_name参数来满足您的需求！

培训与评估

数据集

我们使用 Habitat、ScanNet++、ScanNet、ArkitScenes、Co3D 和 BlendedMVS 来训练我们的模型。请参考data_preprocess.md。

火车

请使用以下命令来训练我们的模型：

torchrun --nproc_per_node 8 train.py --batch_size 4

评估

请使用以下命令来评估我们的模型：

python eval.py

致谢

我们的代码、数据预处理管道和评估脚本基于几个很棒的存储库：

• DUSt3R

• 斯普拉塔姆

• NeRF工作室

• MVS网络

• 尼斯-SLAM

• 神经RGBD

• 简单侦察

我们感谢作者发布他们的代码！

这里介绍的研究得到了思科研究中心和伦敦大学学院基础人工智能博士培训中心赞助的研究奖的支持，资助号为 EP/S021566/1。该项目利用了由 EPSRC (EP/T022205/1) 资助的 Tier 2 HPC 设施 JADE2 上的时间。

引文

如果您发现我们的代码或论文对您的研究有用，请考虑引用：

@article{wang20243d,
  title={3D Reconstruction with Spatial Memory},
  author={Wang, Hengyi and Agapito, Lourdes},
  journal={arXiv preprint arXiv:2408.16061},
  year={2024}
}