KAN: Kolmogorov-Arnold Networks ist ein vielversprechender Herausforderer für traditionelle MLPs. Wir freuen uns sehr über die Integration von KAN in NeRF! Ist KAN für Ansichtssyntheseaufgaben geeignet? Vor welchen Herausforderungen stehen wir? Wie werden wir sie angehen? Wir liefern unsere ersten Beobachtungen und zukünftige Diskussionen!
KANeRF basiert auf Nerfstudio und Efficient-KAN. Detaillierte Installationsanweisungen finden Sie auf der Website, falls Probleme auftreten.
# create python env
conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip
# install torch
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit
# install tinycudann
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch
# install nerfstudio
pip install nerfstudio
# install efficient-kan
pip install git+https://github.com/Blealtan/efficient-kan.gitWir integrieren KAN und NeRFacto und vergleichen KANeRF mit NeRFacto im Hinblick auf Modellparameter, Trainingszeit, neuartige Ansichtssyntheseleistung usw. im Blender-Datensatz. Unter denselben Netzwerkeinstellungen übertrifft KAN MLP bei der Synthese neuartiger Ansichten geringfügig , was darauf hindeutet, dass KAN über eine leistungsfähigere Anpassungsfähigkeit verfügt. Allerdings sind die Inferenz- und Trainingsgeschwindigkeit von KAN deutlich** langsamer als die von MLP. Darüber hinaus ist KAN bei einer vergleichbaren Anzahl von Parametern schlechter als MLP.
| Modell | NeRFacto | NeRFacto Tiny | KANeRF |
|---|---|---|---|
| Trainierbare Netzwerkparameter | 8192 | 2176 | 7131 |
| Gesamtnetzwerkparameter | 8192 | 2176 | 10683 |
| versteckt_dim | 64 | 8 | 8 |
| versteckte dunkle Farbe | 64 | 8 | 8 |
| Anzahl Schichten | 2 | 1 | 1 |
| Farbe der Anzahl der Ebenen | 2 | 1 | 1 |
| geo feat dim | 15 | 7 | 7 |
| Aussehen einbetten dim | 32 | 8 | 8 |
| Trainingszeit | 14m 13s | 13 Minuten und 47 Sekunden | 37 Minuten und 20 Sekunden |
| FPS | 2.5 | ~2,5 | 0,95 |
| LPIPS | 0,0132 | 0,0186 | 0,0154 |
| PSNR | 33,69 | 32,67 | 33.10 |
| SSIM | 0,973 | 0,962 | 0,966 |
| Verlust |  |  |  |
| Ergebnis (rgb) | nerfacto_rgb.mp4 | nerfacto_tiny_rgb.mp4 | kanerf_rgb.mp4 |
| Ergebnis (Tiefe) | nerfacto_ Depth.mp4 | nerfacto_tiny_ Depth.mp4 | kanerf_ Depth.mp4 |
KAN hat Optimierungspotenzial, insbesondere im Hinblick auf die Beschleunigung seiner Inferenzgeschwindigkeit. Wir planen, eine CUDA-beschleunigte Version von KAN zu entwickeln, um seine Leistung weiter zu verbessern: D
@Manual {,
title = { Hands-On NeRF with KAN } ,
author = { Delin Qu, Qizhi Chen } ,
year = { 2024 } ,
url = { https://github.com/Tavish9/KANeRF } ,
}
