CANeRF

使用 KAN 實踐 NeRF

KAN：Kolmogorov-Arnold Networks 是傳統 MLP 的強大挑戰者。我們很高興將 KAN 整合到 NeRF 中！ KAN 適合視圖合成任務嗎？我們將面臨哪些挑戰？我們將如何應對它們？我們提供我們的初步觀察和未來的討論！

主.mp4

更新新聞

• 發布基於 PyKAN 的 KANeRF 實作。
• 發布基於 Efficient-KAN 的 KANeRF 高效實現，實現 15 倍加速！ ？
• ???我們將進行更多評測，敬請期待！ ：D

安裝

KANeRF 是基於 nerfstudio 和 Efficient-KAN 建構的。如果遇到任何問題，請參閱網站的詳細安裝說明。

 # create python env
conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip

# install torch
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

# install tinycudann
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

# install nerfstudio
pip install nerfstudio

# install efficient-kan
pip install git+https://github.com/Blealtan/efficient-kan.git

效能比較

我們整合了 KAN 和 NeRFacto，並在 Blender 資料集上對 KANeRF 和 NeRFacto 在模型參數、訓練時間、新視圖合成效能等方面進行了比較。在相同的網路設定下，KAN 在新穎視圖合成方面略優於 MLP，這表明 KAN 具有更強大的擬合能力。然而，KAN 的推理和訓練速度明顯慢於 MLP。此外，在參數數量相當的情況下，KAN 的表現不如 MLP。

模型	神經因子	NeRFacto 小號	卡內爾夫
可訓練的網路參數	8192	2176	7131
總網路參數	8192	2176	10683
隱藏的暗淡	64	8	8
隱藏的暗淡顏色	64	8	8
層數	2	1	1
層數 顏色	2	1	1
地理壯舉暗淡	15	7	7
外觀嵌入暗淡	32	8	8
訓練時間	14米13秒	13米47秒	37m 20秒
FPS	2.5	〜2.5	0.95
LPIPS	0.0132	0.0186	0.0154
峰值信噪比	33.69	32.67	33.10
SSIM	0.973	0.962	0.966
損失
結果（RGB）	nerfacto_rgb.mp4	nerfacto_tiny_rgb.mp4	kanerf_rgb.mp4
結果（深度）	nerfacto_深度.mp4	nerfacto_tiny_深度.mp4	kanerf_深度.mp4

KAN 具有最佳化潛力，特別是在加快推理速度方面。我們計劃開發 KAN 的 CUDA 加速版本，以進一步增強其效能 :D

• KanNeRF 的可視化

聯絡我們

 @Manual {,
   title = { Hands-On NeRF with KAN } ,
   author = { Delin Qu, Qizhi Chen } ,
   year = { 2024 } ,
   url = { https://github.com/Tavish9/KANeRF } ,
 }