HashNeRF pytorch

HashNeRF-pytorch

? Обновлять ?

Получите ответы на любые вопросы об этом репозитории с помощью чат-бота HuggingFace.

---

Instant-NGP недавно представила хеш-кодирование с несколькими разрешениями для примитивов нейронной графики, таких как NeRF. Исходная реализация NVIDIA, в основном на C++/CUDA, основанная на tiny-cuda-nn, может обучать NeRF до 100 раз быстрее!

Этот проект представляет собой чистую реализацию Instant-NGP на PyTorch , созданную с целью дать исследователям ИИ возможность экспериментировать и совершенствовать этот метод.

Этот проект построен на основе очень полезной реализации NeRF-pytorch.

Скорость сходимости относительно Vanilla NeRF

HashNeRF-pytorch (слева) против NeRF-pytorch (справа):

Кресло.Конвергенция.mp4

После тренировки всего в 5 тысяч итераций (около 10 минут на одном 1050Ti) вы начинаете видеть четкую визуализацию стула. :)

Инструкции

Загрузите набор синтетических данных nerf отсюда: Google Drive.

Чтобы обучить модель chair HashNeRF:

 python run_nerf.py --config configs/chair.txt --finest_res 512 --log2_hashmap_size 19 --lrate 0.01 --lrate_decay 10

Чтобы обучиться другим объектам, таким как ficus / hotdog , замените configs/chair.txt на configs/{object}.txt :

Дополнительно

База кода имеет дополнительную поддержку:

• Total Variation Loss для более плавного встраивания (используйте --tv-loss-weight , чтобы включить)
• Потери весов лучей, вызывающие разреженность (используйте --sparse-loss-weight , чтобы включить)

Поддержка набора данных ScanNet

Репозиторий теперь поддерживает обучение модели NeRF на сцене из набора данных ScanNet. Лично я обнаружил, что настройка набора данных ScanNet немного сложна. Пожалуйста, найдите некоторые инструкции/примечания на ScanNet.md.

ЗАДАЧА:

• Обрезка вокселей во время обучения и/или вывода
• Ускоренная трассировка лучей, раннее завершение лучей

Цитирование

Спасибо Томасу Мюллеру и команде NVIDIA за эту потрясающую работу, которая значительно поможет ускорить исследования в области нейронной графики:

 @article{mueller2022instant,
    title = {Instant Neural Graphics Primitives with a Multiresolution Hash Encoding},
    author = {Thomas M"uller and Alex Evans and Christoph Schied and Alexander Keller},
    journal = {arXiv:2201.05989},
    year = {2022},
    month = jan
}

Также спасибо Йен-Чен Линю за суперполезный NeRF-pytorch:

 @misc{lin2020nerfpytorch,
  title={NeRF-pytorch},
  author={Yen-Chen, Lin},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yenchenlin/nerf-pytorch/}},
  year={2020}
}

Если вы считаете этот проект полезным, пожалуйста, процитируйте:

 @misc{bhalgat2022hashnerfpytorch,
  title={HashNeRF-pytorch},
  author={Yash Bhalgat},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={url{https://github.com/yashbhalgat/HashNeRF-pytorch/}},
  year={2022}
}

Звездная история