使用 KAN 实践 NeRF

KAN：Kolmogorov-Arnold Networks 是传统 MLP 的有力挑战者。我们很高兴将 KAN 集成到 NeRF 中！ KAN 适合视图合成任务吗？我们将面临哪些挑战？我们将如何应对它们？我们提供我们的初步观察和未来的讨论！

主.mp4

更新新闻

发布基于 PyKAN 的 KANeRF 实现。
发布基于 Efficient-KAN 的 KANeRF 高效实现，实现 15 倍加速！？
???我们将进行更多评测，敬请期待！：D

安装

KANeRF 是基于 nerfstudio 和 Efficient-KAN 构建的。如果遇到任何问题，请参阅网站的详细安装说明。

 # create python env
conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip

# install torch
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

# install tinycudann
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

# install nerfstudio
pip install nerfstudio

# install efficient-kan
pip install git+https://github.com/Blealtan/efficient-kan.git

性能比较

我们集成了 KAN 和 NeRFacto，并在 Blender 数据集上对 KANeRF 和 NeRFacto 在模型参数、训练时间、新视图合成性能等方面进行了比较。在相同的网络设置下，KAN 在新颖视图合成方面略优于 MLP，这表明 KAN 具有更强大的拟合能力。然而，KAN 的推理和训练速度明显慢于 MLP。此外，在参数数量相当的情况下，KAN 的表现不如 MLP。

模型	神经因子	NeRFacto 小号	卡内尔夫
可训练的网络参数	8192	2176	7131
总网络参数	8192	2176	10683
隐藏的暗淡	64	8	8
隐藏的暗淡颜色	64	8	8
层数	2	1	1
层数颜色	2	1	1
地理壮举暗淡	15	7	7
外观嵌入暗淡	32	8	8
训练时间	14米13秒	13米47秒	37m 20秒
FPS	2.5	〜2.5	0.95
LPIPS	0.0132	0.0186	0.0154
峰值信噪比	33.69	32.67	33.10
SSIM	0.973	0.962	0.966
损失
结果（RGB）	nerfacto_rgb.mp4	nerfacto_tiny_rgb.mp4	kanerf_rgb.mp4
结果（深度）	nerfacto_深度.mp4	nerfacto_tiny_深度.mp4	kanerf_深度.mp4

KAN 具有优化潜力，特别是在加快推理速度方面。我们计划开发 KAN 的 CUDA 加速版本，以进一步增强其性能 :D

KanNeRF 的可视化

联系我们

 @Manual {,
   title = { Hands-On NeRF with KAN } ,
   author = { Delin Qu, Qizhi Chen } ,
   year = { 2024 } ,
   url = { https://github.com/Tavish9/KANeRF } ,
 }