KAN による実践的な NeRF

KAN: コルモゴロフ・アーノルド・ネットワークスは、従来の MLP に対する有望な挑戦者です。私たちは KAN を NeRF に統合できることに興奮しています。 KAN はビュー合成タスクに適していますか?私たちはどんな課題に直面するのでしょうか？それらにどう対処するのでしょうか？私たちの初期の観察と将来の議論を提供します。

メイン.mp4

ニュースを更新

PyKAN に基づいた KANeRF の実装をリリースします。
Efficient-KAN に基づいた KANeRF の効率的な実装をリリースし、15 倍の高速化を達成します。 ?
???さらに評価を行っていきますので、ご期待ください！ :D

インストール

KANeRF は nerfstudio と Efficient-KAN に基づいて構築されています。問題が発生した場合は、Web サイトで詳細なインストール手順を参照してください。

 # create python env
conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip

# install torch
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

# install tinycudann
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

# install nerfstudio
pip install nerfstudio

# install efficient-kan
pip install git+https://github.com/Blealtan/efficient-kan.git

性能の比較

KAN と NeRFacto を統合し、Blender データセット上のモデルパラメーター、トレーニング時間、新規ビュー合成パフォーマンスなどの観点から KANeRF と NeRFacto を比較します。同じネットワーク設定の下では、KAN は新規ビュー合成において MLP をわずかに上回っており、KAN がより強力なフィッティング機能を備えていることを示唆しています。ただし、KAN の推論とトレーニングの速度は MLP よりも大幅に遅くなります**。さらに、パラメータの数が同等であるため、KAN は MLP よりもパフォーマンスが劣ります。

モデル	ネファクト	ネファクトタイニー	KANeRF
トレーニング可能なネットワークパラメータ	8192	2176	7131
合計ネットワークパラメータ	8192	2176	10683
隠しディム	64	8	8
隠れた薄暗い色	64	8	8
レイヤー数	2	1	1
レイヤーの色数	2	1	1
ジオ偉業ディム	15	7	7
外観は薄暗く埋め込まれています	32	8	8
トレーニング時間	14分13秒	13分47秒	37分20秒
FPS	2.5	~2.5	0.95
LPIPS	0.0132	0.0186	0.0154
PSNR	33.69	32.67	33.10
SSIM	0.973	0.962	0.966
損失
結果(RGB)	nerfacto_rgb.mp4	nerfacto_tiny_rgb.mp4	kanerf_rgb.mp4
結果（深さ）	nerfacto_ Depth.mp4	nerfacto_tiny_ Depth.mp4	kanerf_ Depth.mp4

KAN には、特に推論速度の高速化に関して、最適化の可能性があります。私たちは、KAN のパフォーマンスをさらに強化するために、CUDA アクセラレーション版の KAN を開発する予定です : D

KanNeRF の可視化

お問い合わせ

 @Manual {,
   title = { Hands-On NeRF with KAN } ,
   author = { Delin Qu, Qizhi Chen } ,
   year = { 2024 } ,
   url = { https://github.com/Tavish9/KANeRF } ,
 }