HashNeRF pytorch

HashNeRF-ไพทอร์ช

- อัปเดต ?

รับคำตอบสำหรับคำถามใด ๆ เกี่ยวกับพื้นที่เก็บข้อมูลนี้โดยใช้ HuggingFace Chatbot นี้

---

เมื่อเร็วๆ นี้ Instant-NGP ได้เปิดตัวการเข้ารหัสแฮชแบบหลายความละเอียดสำหรับกราฟิกแบบนิวรัล เช่น NeRF การใช้งาน NVIDIA ดั้งเดิมส่วนใหญ่ใช้ในภาษา C++/CUDA ซึ่งใช้ Tiny-cuda-nn สามารถฝึก NeRF ได้เร็วกว่าถึง 100 เท่า!

โปรเจ็กต์นี้เป็นการใช้งาน PyTorch อย่างแท้จริง ของ Instant-NGP ซึ่งสร้างขึ้นโดยมีวัตถุประสงค์เพื่อให้นักวิจัย AI สามารถทดลองและสร้างสรรค์วิธีการนี้เพิ่มเติมได้

โปรเจ็กต์นี้สร้างขึ้นจากการใช้งาน NeRF-pytorch ที่มีประโยชน์อย่างยิ่ง

ความเร็วในการบรรจบกันด้วย Vanilla NeRF

HashNeRF-pytorch (ซ้าย) กับ NeRF-pytorch (ขวา):

เก้าอี้.คอนเวอร์เจนซ์.mp4

หลังจากการฝึกฝนเพียง 5,000 ครั้ง (ประมาณ 10 นาทีใน 1050Ti เครื่องเดียว) คุณจะเริ่มเห็นการเรนเดอร์เก้าอี้ ที่คมชัด -

คำแนะนำ

ดาวน์โหลดชุดข้อมูลเนิร์ฟสังเคราะห์ได้จากที่นี่: Google Drive

วิธีฝึก chair รุ่น HashNeRF:

 python run_nerf.py --config configs/chair.txt --finest_res 512 --log2_hashmap_size 19 --lrate 0.01 --lrate_decay 10

หากต้องการฝึกสำหรับวัตถุอื่น ๆ เช่น ficus / hotdog ให้แทนที่ configs/chair.txt ด้วย configs/{object}.txt :

บริการพิเศษ

รหัสฐานได้รับการสนับสนุนเพิ่มเติมสำหรับ:

• Total Variation Loss เพื่อการฝังที่ราบรื่นยิ่งขึ้น (ใช้ --tv-loss-weight เพื่อเปิดใช้งาน)
• การสูญเสียน้ำหนักรังสีแบบกระจัดกระจาย (ใช้ --sparse-loss-weight เพื่อเปิดใช้งาน)

รองรับชุดข้อมูล ScanNet

ตอนนี้ repo รองรับการฝึกโมเดล NeRF บนฉากจากชุดข้อมูล ScanNet โดยส่วนตัวแล้วฉันพบว่าการตั้งค่าชุดข้อมูล ScanNet นั้นค่อนข้างยุ่งยากเล็กน้อย โปรดดูคำแนะนำ/หมายเหตุใน ScanNet.md

สิ่งที่ต้องทำ:

• การตัด Voxel ระหว่างการฝึกและ/หรือการอนุมาน
• การติดตามรังสีแบบเร่ง การยุติรังสีตั้งแต่เนิ่นๆ

การอ้างอิง

ขอขอบคุณ Thomas Müller และทีมงาน NVIDIA สำหรับงานที่น่าทึ่งนี้ ซึ่งจะช่วยเร่งการวิจัยกราฟิกประสาทได้อย่างมาก:

 @article{mueller2022instant,
    title = {Instant Neural Graphics Primitives with a Multiresolution Hash Encoding},
    author = {Thomas M"uller and Alex Evans and Christoph Schied and Alexander Keller},
    journal = {arXiv:2201.05989},
    year = {2022},
    month = jan
}

นอกจากนี้ ขอขอบคุณ Yen-Chen Lin สำหรับ NeRF-pytorch ที่มีประโยชน์อย่างยิ่ง:

 @misc{lin2020nerfpytorch,
  title={NeRF-pytorch},
  author={Yen-Chen, Lin},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yenchenlin/nerf-pytorch/}},
  year={2020}
}

หากคุณพบว่าโครงการนี้มีประโยชน์ โปรดพิจารณาอ้างอิง:

 @misc{bhalgat2022hashnerfpytorch,
  title={HashNeRF-pytorch},
  author={Yash Bhalgat},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yashbhalgat/HashNeRF-pytorch/}},
  year={2022}
}

ประวัติดารา