KAN: Kolmogorov-Arnold Networks는 기존 MLP에 대한 유망한 도전자입니다. KAN을 NeRF에 통합하게 되어 매우 기쁩니다! KAN은 뷰 합성 작업에 적합합니까? 우리는 어떤 어려움에 직면하게 될까요? 어떻게 대처할 것인가? 우리는 초기 관찰과 향후 논의를 제공합니다!
KANeRF는 nerfstudio와 Efficient-KAN을 기반으로 구축되었습니다. 문제가 발생할 경우 자세한 설치 지침을 보려면 웹사이트를 참조하세요.
# create python env
conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip
# install torch
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit
# install tinycudann
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch
# install nerfstudio
pip install nerfstudio
# install efficient-kan
pip install git+https://github.com/Blealtan/efficient-kan.gitKAN과 NeRFacto를 통합하고 Blender 데이터세트에서 모델 매개변수, 훈련 시간, 새로운 뷰 합성 성능 등의 측면에서 KANeRF와 NeRFacto를 비교합니다. 동일한 네트워크 설정에서 KAN은 새로운 뷰 합성에서 MLP 보다 약간 더 나은 성능을 발휘하며 이는 KAN이 더 강력한 피팅 기능을 보유하고 있음을 시사합니다. 그러나 KAN의 추론 및 훈련 속도는 MLP에 비해 현저히** 느립니다. 게다가 KAN은 비슷한 수의 매개변수를 사용하여 MLP보다 성능이 낮습니다.
| 모델 | 네르팩토 | 네르팩토 타이니 | 카네프 |
|---|---|---|---|
| 훈련 가능한 네트워크 매개변수 | 8192 | 2176 | 7131 |
| 총 네트워크 매개변수 | 8192 | 2176 | 10683 |
| 숨겨진_어두움 | 64 | 8 | 8 |
| 숨겨진 희미한 색상 | 64 | 8 | 8 |
| 레이어 수 | 2 | 1 | 1 |
| 레이어 수 색상 | 2 | 1 | 1 |
| 지리적 특징이 희미하다 | 15 | 7 | 7 |
| 외관이 희미하게 포함됨 | 32 | 8 | 8 |
| 훈련시간 | 14분 13초 | 13분 47초 | 37분 20초 |
| FPS | 2.5 | ~2.5 | 0.95 |
| LPIPS | 0.0132 | 0.0186 | 0.0154 |
| PSNR | 33.69 | 32.67 | 10월 33일 |
| 쌈 | 0.973 | 0.962 | 0.966 |
| 손실 |  |  |  |
| 결과(rgb) | nerfacto_rgb.mp4 | nerfacto_tiny_rgb.mp4 | kanerf_rgb.mp4 |
| 결과(깊이) | nerfacto_깊이.mp4 | nerfacto_tiny_깊이.mp4 | kanerf_깊이.mp4 |
KAN은 특히 추론 속도 가속화와 관련하여 최적화 가능성이 있습니다. KAN의 CUDA 가속 버전을 개발하여 성능을 더욱 향상시킬 계획입니다 :D
@Manual {,
title = { Hands-On NeRF with KAN } ,
author = { Delin Qu, Qizhi Chen } ,
year = { 2024 } ,
url = { https://github.com/Tavish9/KANeRF } ,
}
