HashNeRF pytorch

HashNeRF-pytorch

? Memperbarui ?

Dapatkan jawaban atas pertanyaan apa pun tentang repositori ini menggunakan HuggingFace Chatbot ini.

---

Instant-NGP baru-baru ini memperkenalkan Pengkodean Hash Multi-resolusi untuk grafis saraf primitif seperti NeRF. Implementasi NVIDIA asli terutama di C++/CUDA, berdasarkan tiny-cuda-nn, dapat melatih NeRF hingga 100x lebih cepat!

Proyek ini adalah implementasi PyTorch murni dari NGP Instan, yang dibuat dengan tujuan memungkinkan Peneliti AI untuk bermain-main dan berinovasi lebih jauh pada metode ini.

Proyek ini dibangun di atas implementasi NeRF-pytorch yang sangat berguna.

Kecepatan konvergensi dengan Vanilla NeRF

HashNeRF-pytorch (kiri) vs NeRF-pytorch (kanan):

Kursi.Konvergensi.mp4

Setelah pelatihan hanya untuk 5 ribu iterasi (~10 menit pada satu 1050Ti), Anda mulai melihat rendering kursi yang tajam . :)

instruksi

Unduh kumpulan data nerf-sintetis dari sini: Google Drive.

Untuk melatih model chair HashNeRF:

 python run_nerf.py --config configs/chair.txt --finest_res 512 --log2_hashmap_size 19 --lrate 0.01 --lrate_decay 10

Untuk melatih objek lain seperti ficus / hotdog , ganti configs/chair.txt dengan configs/{object}.txt :

Ekstra

Basis kode memiliki dukungan tambahan untuk:

• Total Variation Loss untuk penyematan yang lebih lancar (gunakan --tv-loss-weight untuk mengaktifkan)
• Kehilangan bobot sinar yang memicu ketersebaran (gunakan --sparse-loss-weight untuk mengaktifkan)

Dukungan kumpulan data ScanNet

Repo sekarang mendukung pelatihan model NeRF pada adegan dari kumpulan data ScanNet. Saya pribadi merasa menyiapkan kumpulan data ScanNet agak rumit. Silakan temukan beberapa instruksi/catatan di ScanNet.md.

YANG HARUS DILAKUKAN:

• Pemangkasan voxel selama pelatihan dan/atau inferensi
• Penelusuran sinar yang dipercepat, penghentian sinar dini

Kutipan

Terima kasih kepada Thomas Müller dan tim NVIDIA atas karya luar biasa ini, yang akan sangat membantu mempercepat penelitian Neural Graphics:

 @article{mueller2022instant,
    title = {Instant Neural Graphics Primitives with a Multiresolution Hash Encoding},
    author = {Thomas M"uller and Alex Evans and Christoph Schied and Alexander Keller},
    journal = {arXiv:2201.05989},
    year = {2022},
    month = jan
}

Juga, terima kasih kepada Yen-Chen Lin untuk NeRF-pytorch yang sangat berguna:

 @misc{lin2020nerfpytorch,
  title={NeRF-pytorch},
  author={Yen-Chen, Lin},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yenchenlin/nerf-pytorch/}},
  year={2020}
}

Jika Anda merasa proyek ini bermanfaat, mohon pertimbangkan untuk mengutip:

 @misc{bhalgat2022hashnerfpytorch,
  title={HashNeRF-pytorch},
  author={Yash Bhalgat},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yashbhalgat/HashNeRF-pytorch/}},
  year={2022}
}

Sejarah Bintang