HashNeRF pytorch

HashNeRF-pytorch

? Mise à jour ?

Obtenez des réponses à toutes vos questions sur ce référentiel en utilisant ce chatbot HuggingFace.

---

Instant-NGP a récemment introduit un codage de hachage multi-résolution pour les primitives graphiques neuronales telles que les NeRF. L'implémentation originale de NVIDIA, principalement en C++/CUDA, basée sur tiny-cuda-nn, peut entraîner les NeRF jusqu'à 100 fois plus rapidement !

Ce projet est une pure implémentation PyTorch d'Instant-NGP, construite dans le but de permettre aux chercheurs en IA de jouer et d'innover davantage sur cette méthode.

Ce projet est construit sur l'implémentation très utile de NeRF-pytorch.

Vitesse de convergence par rapport à Vanilla NeRF

HashNeRF-pytorch (à gauche) vs NeRF-pytorch (à droite) :

Chaise.Convergence.mp4

Après un entraînement de seulement 5 000 itérations (~ 10 minutes sur un seul 1050Ti), vous commencez à voir un rendu de chaise net . :)

Instructions

Téléchargez l'ensemble de données nerf-synthétiques à partir d'ici : Google Drive.

Pour entraîner un modèle chair HashNeRF :

 python run_nerf.py --config configs/chair.txt --finest_res 512 --log2_hashmap_size 19 --lrate 0.01 --lrate_decay 10

Pour vous entraîner à d'autres objets comme ficus / hotdog , remplacez configs/chair.txt par configs/{object}.txt :

Suppléments

La base de code offre un support supplémentaire pour :

• Perte de variation totale pour des intégrations plus fluides (utilisez --tv-loss-weight pour activer)
• Perte induisant une parcimonie sur les poids des rayons (utilisez --sparse-loss-weight pour activer)

Prise en charge des ensembles de données ScanNet

Le référentiel prend désormais en charge la formation d'un modèle NeRF sur une scène à partir de l'ensemble de données ScanNet. Personnellement, j'ai trouvé que la configuration de l'ensemble de données ScanNet était un peu délicate. Veuillez trouver quelques instructions/notes dans ScanNet.md.

FAIRE:

• Élagage de voxel pendant la formation et/ou l'inférence
• Traçage de rayons accéléré, terminaison précoce des rayons

Citation

Félicitations à Thomas Müller et à l'équipe NVIDIA pour ce travail incroyable, qui contribuera grandement à accélérer la recherche sur les graphiques neuronaux :

 @article{mueller2022instant,
    title = {Instant Neural Graphics Primitives with a Multiresolution Hash Encoding},
    author = {Thomas M"uller and Alex Evans and Christoph Schied and Alexander Keller},
    journal = {arXiv:2201.05989},
    year = {2022},
    month = jan
}

Merci également à Yen-Chen Lin pour le NeRF-pytorch super utile :

 @misc{lin2020nerfpytorch,
  title={NeRF-pytorch},
  author={Yen-Chen, Lin},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yenchenlin/nerf-pytorch/}},
  year={2020}
}

Si vous trouvez ce projet utile, pensez à citer :

 @misc{bhalgat2022hashnerfpytorch,
  title={HashNeRF-pytorch},
  author={Yash Bhalgat},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yashbhalgat/HashNeRF-pytorch/}},
  year={2022}
}

Histoire des étoiles