HashNeRF pytorch

HashNeRF-pytorch

? Actualizar ?

Obtenga respuestas a cualquier pregunta sobre este repositorio utilizando este Chatbot de HuggingFace.

---

Instant-NGP introdujo recientemente una codificación Hash de resolución múltiple para primitivas de gráficos neuronales como NeRF. La implementación original de NVIDIA principalmente en C++/CUDA, basada en tiny-cuda-nn, puede entrenar NeRF hasta 100 veces más rápido.

Este proyecto es una implementación pura de PyTorch de Instant-NGP, creada con el propósito de permitir a los investigadores de IA jugar e innovar más con este método.

Este proyecto se basa en la implementación súper útil de NeRF-pytorch.

Velocidad de convergencia con Vanilla NeRF

HashNeRF-pytorch (izquierda) frente a NeRF-pytorch (derecha):

Silla.Convergencia.mp4

Después de entrenar durante solo 5.000 iteraciones (~10 minutos en una sola 1050Ti), comienzas a ver una representación nítida de la silla. :)

Instrucciones

Descargue el conjunto de datos nerf-synthetic desde aquí: Google Drive.

Para entrenar una chair modelo HashNeRF:

 python run_nerf.py --config configs/chair.txt --finest_res 512 --log2_hashmap_size 19 --lrate 0.01 --lrate_decay 10

Para entrenar para otros objetos como ficus / hotdog , reemplace configs/chair.txt con configs/{object}.txt :

Extras

El código base tiene soporte adicional para:

• Pérdida de variación total para incrustaciones más suaves (use --tv-loss-weight para habilitar)
• Pérdida que induce escasez en los pesos de los rayos (use --sparse-loss-weight para habilitar)

Compatibilidad con conjuntos de datos ScanNet

El repositorio ahora admite el entrenamiento de un modelo NeRF en una escena del conjunto de datos ScanNet. Personalmente, encontré que configurar el conjunto de datos ScanNet es un poco complicado. Encuentre algunas instrucciones/notas en ScanNet.md.

HACER:

• Poda de vóxeles durante el entrenamiento y/o la inferencia
• Trazado de rayos acelerado, terminación temprana de los rayos

Citación

Felicitaciones a Thomas Müller y al equipo de NVIDIA por este increíble trabajo, que ayudará enormemente a acelerar la investigación de Neural Graphics:

 @article{mueller2022instant,
    title = {Instant Neural Graphics Primitives with a Multiresolution Hash Encoding},
    author = {Thomas M"uller and Alex Evans and Christoph Schied and Alexander Keller},
    journal = {arXiv:2201.05989},
    year = {2022},
    month = jan
}

Además, gracias a Yen-Chen Lin por el súper útil NeRF-pytorch:

 @misc{lin2020nerfpytorch,
  title={NeRF-pytorch},
  author={Yen-Chen, Lin},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yenchenlin/nerf-pytorch/}},
  year={2020}
}

Si encuentra útil este proyecto, considere citar:

 @misc{bhalgat2022hashnerfpytorch,
  title={HashNeRF-pytorch},
  author={Yash Bhalgat},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yashbhalgat/HashNeRF-pytorch/}},
  year={2022}
}

Historia de las estrellas