跨度3r

利用空間記憶進行 3D 重建

紙|項目頁面|影片

利用空間記憶進行 3D 重建
王恆逸、盧爾德·阿加皮托
arXiv 2024

更新

[2024-10-25] 增加對 Nerfstudio 的支持

[2024-10-18] 新增相機參數估計

[2024-09-30] @hugoycj 新增了漸層演示

[2024-09-20] 資料集data_preprocess.md使用說明

[2024-09-11] Spann3R 代碼

安裝

1. 克隆Spann3R

   git clone https://github.com/HengyiWang/spann3r.git
   cd spann3r

2. 創建conda環境

   conda create -n spann3r python=3.9 cmake=3.14.0
   conda install pytorch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 pytorch-cuda=11.8 -c pytorch -c nvidia  # use the correct version of cuda for your system
   
   pip install -r requirements.txt
   
   # Open3D has a bug from 0.16.0, please use dev version
   pip install -U -f https://www.open3d.org/docs/latest/getting_started.html open3d

3. 為 RoPE 編譯 cuda 內核

   cd croco/models/curope/
   python setup.py build_ext --inplace
   cd ../../../

4. 下載 DUSt3R 檢查點

   mkdir checkpoints
   cd checkpoints
   # Download DUSt3R checkpoints
   wget https://download.europe.naverlabs.com/ComputerVision/DUSt3R/DUSt3R_ViTLarge_BaseDecoder_512_dpt.pth

5. 下載我們的檢查點並將其放在./checkpoints下

示範

1. 下載範例資料（來自map-free-reloc的2個場景）並將其解壓縮為./examples

2. 運行演示：

   python demo.py --demo_path ./examples/s00567 --kf_every 10 --vis --vis_cam

   對於視覺化--vis ，它會給你一個視窗來調整渲染視圖。找到要渲染的視圖後，請按一下space key並關閉視窗。然後程式碼將進行增量重建的渲染。

3. 納夫工作室：

   # Run demo use --save_ori to save scaled intrinsics for original images
   python demo.py --demo_path ./examples/s00567 --kf_every 10 --vis --vis_cam --save_ori
   
   # Run splatfacto
   ns-train splatfacto --data ./output/demo/s00567 --pipeline.model.camera-optimizer.mode SO3xR3
   
   # Render your results
   ns-render interpolate --load-config [path-to-your-config]/config.yml

   請注意，這裡您可以使用--save_ori將縮放後的內在函數儲存到transform.json中，以使用原始影像訓練 NeRF/3D 高斯函數。

音訊介面

我們還提供了 Gradio 介面以獲得更好的體驗，只需運行：

 # 對於 Linux 和 Windows 使用者（以及具有 Intel 的 macOS？）python app.py

您可以指定--server_port 、 --share 、 --server_name參數來滿足您的需求！

培訓與評估

數據集

我們使用 Habitat、ScanNet++、ScanNet、ArkitScenes、Co3D 和 BlendedMVS 來訓練我們的模型。請參考data_preprocess.md。

火車

請使用以下命令來訓練我們的模型：

torchrun --nproc_per_node 8 train.py --batch_size 4

評估

請使用以下命令來評估我們的模型：

python eval.py

致謝

我們的程式碼、資料預處理管道和評估腳本是基於幾個很棒的儲存庫：

• DUSt3R

• 斯普拉塔姆

• NeRF工作室

• MVS網路

• 尼斯-SLAM

• 神經RGBD

• 簡單偵察

我們感謝作者發布他們的程式碼！

這裡介紹的研究得到了思科研究中心和倫敦大學學院基礎人工智慧博士培訓中心贊助的研究獎的支持，資助號碼為 EP/S021566/1。該計畫利用了由 EPSRC (EP/T022205/1) 資助的 Tier 2 HPC 設施 JADE2 上的時間。

引文

如果您發現我們的程式碼或論文對您的研究有用，請考慮引用：

@article{wang20243d,
  title={3D Reconstruction with Spatial Memory},
  author={Wang, Hengyi and Agapito, Lourdes},
  journal={arXiv preprint arXiv:2408.16061},
  year={2024}
}