HashNeRF pytorch

HashNeRF-pytorch

? Atualizar ?

Obtenha respostas para quaisquer perguntas sobre este repositório usando este HuggingFace Chatbot.

---

Instant-NGP introduziu recentemente uma codificação Hash de multi-resolução para primitivos gráficos neurais como NeRFs. A implementação original da NVIDIA principalmente em C++/CUDA, baseada em tiny-cuda-nn, pode treinar NeRFs até 100x mais rápido!

Este projeto é uma implementação PyTorch pura do Instant-NGP, construída com o objetivo de permitir que pesquisadores de IA experimentem e inovem ainda mais neste método.

Este projeto é construído com base na implementação superútil do NeRF-pytorch.

Velocidade de convergência wrt Vanilla NeRF

HashNeRF-pytorch (esquerda) vs NeRF-pytorch (direita):

Cadeira.Convergência.mp4

Depois de treinar por apenas 5 mil iterações (cerca de 10 minutos em um único 1050Ti), você começa a ver uma renderização nítida da cadeira. :)

Instruções

Baixe o conjunto de dados sintético nerf aqui: Google Drive.

Para treinar um modelo HashNeRF chair :

 python run_nerf.py --config configs/chair.txt --finest_res 512 --log2_hashmap_size 19 --lrate 0.01 --lrate_decay 10

Para treinar para outros objetos como ficus / hotdog , substitua configs/chair.txt por configs/{object}.txt :

Extras

A base de código tem suporte adicional para:

• Perda total de variação para embeddings mais suaves (use --tv-loss-weight para ativar)
• Perda indutora de dispersão nos pesos dos raios (use --sparse-loss-weight para ativar)

Suporte ao conjunto de dados ScanNet

O repositório agora oferece suporte ao treinamento de um modelo NeRF em uma cena do conjunto de dados ScanNet. Pessoalmente, achei a configuração do conjunto de dados ScanNet um pouco complicada. Encontre algumas instruções/notas em ScanNet.md.

PENDÊNCIA:

• Poda de voxel durante treinamento e/ou inferência
• Rastreamento de raio acelerado, terminação antecipada de raio

Citação

Parabéns a Thomas Müller e à equipe da NVIDIA por este trabalho incrível, que ajudará muito a acelerar a pesquisa de Gráficos Neurais:

 @article{mueller2022instant,
    title = {Instant Neural Graphics Primitives with a Multiresolution Hash Encoding},
    author = {Thomas M"uller and Alex Evans and Christoph Schied and Alexander Keller},
    journal = {arXiv:2201.05989},
    year = {2022},
    month = jan
}

Além disso, obrigado a Yen-Chen Lin pelo superútil NeRF-pytorch:

 @misc{lin2020nerfpytorch,
  title={NeRF-pytorch},
  author={Yen-Chen, Lin},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yenchenlin/nerf-pytorch/}},
  year={2020}
}

Se você achar este projeto útil, considere citar:

 @misc{bhalgat2022hashnerfpytorch,
  title={HashNeRF-pytorch},
  author={Yash Bhalgat},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yashbhalgat/HashNeRF-pytorch/}},
  year={2022}
}

História das Estrelas