สแปน3r

การสร้างใหม่ 3 มิติด้วยหน่วยความจำเชิงพื้นที่

กระดาษ | หน้าโครงการ | วีดีโอ

การสร้างใหม่ 3 มิติด้วยหน่วยความจำเชิงพื้นที่
เหิงอี้ หวัง, ลูร์ด อากาปิโต
อาร์เอ็กซ์ 2024

อัปเดต

[25-10-2567] เพิ่มการรองรับสำหรับ Nerfstudio

[18-10-2567] เพิ่มการประมาณค่าพารามิเตอร์กล้อง

[30-09-2024] @hugoycj เพิ่มการสาธิต gradio

[2024-09-20] คำแนะนำสำหรับชุดข้อมูล data_preprocess.md

[11-09-2024] โค้ดสำหรับ Spann3R

การติดตั้ง

1. โคลน Spann3R

   git clone https://github.com/HengyiWang/spann3r.git
   cd spann3r

2. สร้างสภาพแวดล้อม conda

   conda create -n spann3r python=3.9 cmake=3.14.0
   conda install pytorch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 pytorch-cuda=11.8 -c pytorch -c nvidia  # use the correct version of cuda for your system
   
   pip install -r requirements.txt
   
   # Open3D has a bug from 0.16.0, please use dev version
   pip install -U -f https://www.open3d.org/docs/latest/getting_started.html open3d

3. รวบรวมเคอร์เนล cuda สำหรับ RoPE

   cd croco/models/curope/
   python setup.py build_ext --inplace
   cd ../../../

4. ดาวน์โหลดจุดตรวจสอบ DUSt3R

   mkdir checkpoints
   cd checkpoints
   # Download DUSt3R checkpoints
   wget https://download.europe.naverlabs.com/ComputerVision/DUSt3R/DUSt3R_ViTLarge_BaseDecoder_512_dpt.pth

5. ดาวน์โหลดจุดตรวจของเราและวางไว้ใต้ ./checkpoints

สาธิต

1. ดาวน์โหลดข้อมูลตัวอย่าง (2 ฉากจาก map-free-reloc) และแตกไฟล์เป็น ./examples

2. เรียกใช้การสาธิต:

   python demo.py --demo_path ./examples/s00567 --kf_every 10 --vis --vis_cam

   สำหรับการแสดงภาพ --vis จะให้หน้าต่างให้คุณปรับมุมมองการเรนเดอร์ เมื่อคุณพบมุมมองที่จะแสดงผลแล้ว โปรดคลิก space key แล้วปิดหน้าต่าง โค้ดจะทำการเรนเดอร์การสร้างใหม่แบบเพิ่มหน่วย

3. เนิร์ฟสตูดิโอ:

   # Run demo use --save_ori to save scaled intrinsics for original images
   python demo.py --demo_path ./examples/s00567 --kf_every 10 --vis --vis_cam --save_ori
   
   # Run splatfacto
   ns-train splatfacto --data ./output/demo/s00567 --pipeline.model.camera-optimizer.mode SO3xR3
   
   # Render your results
   ns-render interpolate --load-config [path-to-your-config]/config.yml

   โปรดทราบว่าคุณสามารถใช้ --save_ori เพื่อบันทึกอินทรินซิกที่ปรับขนาดแล้วลงใน transform.json เพื่อฝึก NeRF/3D Gaussians ด้วยรูปภาพต้นฉบับ

อินเทอร์เฟซกราดิโอ

นอกจากนี้เรายังมีอินเทอร์เฟซ Gradio เพื่อประสบการณ์ที่ดียิ่งขึ้น เพียงดำเนินการโดย:

 # สำหรับผู้ใช้ Linux และ Windows (และ macOS ที่มี Intel??)python app.py

คุณสามารถระบุอาร์กิวเมนต์ --server_port , --share , --server_name เพื่อตอบสนองความต้องการของคุณ!

การฝึกอบรมและการประเมินผล

ชุดข้อมูล

เราใช้ Habitat, ScanNet++, ScanNet, ArkitScenes, Co3D และ BlendedMVS เพื่อฝึกฝนโมเดลของเรา โปรดดูที่ data_preprocess.md

รถไฟ

โปรดใช้คำสั่งต่อไปนี้เพื่อฝึกโมเดลของเรา:

torchrun --nproc_per_node 8 train.py --batch_size 4

อีวาล

โปรดใช้คำสั่งต่อไปนี้เพื่อประเมินโมเดลของเรา:

python eval.py

รับทราบ

โค้ด ขั้นตอนการประมวลผลข้อมูลล่วงหน้า และสคริปต์การประเมินผลของเราอิงจากแหล่งเก็บข้อมูลที่ยอดเยี่ยมหลายแห่ง:

• ฝุ่น3R

• สปลาแทม

• NeRFStudio

• เอ็มวีเอสเน็ต

• ไนซ์-สแลม

• ประสาท RGBD

• ซิมเพิลรีคอน

เราขอขอบคุณผู้เขียนที่เผยแพร่โค้ดของพวกเขา!

งานวิจัยที่นำเสนอที่นี่ได้รับการสนับสนุนจากรางวัลงานวิจัยที่ได้รับการสนับสนุนจาก Cisco Research และ UCL Center for Doctoral Training in Foundational AI ภายใต้ทุน UKRI หมายเลข EP/S021566/1 โครงการนี้ใช้เวลากับสิ่งอำนวยความสะดวก HPC ระดับ 2 JADE2 ซึ่งได้รับทุนจาก EPSRC (EP/T022205/1)

การอ้างอิง

หากคุณพบว่ารหัสหรือรายงานของเรามีประโยชน์สำหรับการวิจัยของคุณ โปรดพิจารณาการอ้างอิง:

@article{wang20243d,
  title={3D Reconstruction with Spatial Memory},
  author={Wang, Hengyi and Agapito, Lourdes},
  journal={arXiv preprint arXiv:2408.16061},
  year={2024}
}