KAN: Kolmogorov-Arnold Networks adalah penantang yang menjanjikan bagi MLP tradisional. Kami sangat senang bisa mengintegrasikan KAN ke dalam NeRF! Apakah KAN cocok untuk tugas sintesis tampilan ? Tantangan apa yang akan kita hadapi? Bagaimana kita mengatasinya? Kami memberikan pengamatan awal dan diskusi masa depan kami!
KANeRF dibangun berdasarkan nerfstudio dan Efficient-KAN. Silakan merujuk ke situs web untuk petunjuk instalasi terperinci jika Anda mengalami masalah.
# create python env
conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip
# install torch
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit
# install tinycudann
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch
# install nerfstudio
pip install nerfstudio
# install efficient-kan
pip install git+https://github.com/Blealtan/efficient-kan.gitKami mengintegrasikan KAN dan NeRFacto dan membandingkan KANeRF dengan NeRFacto dalam hal parameter model, waktu pelatihan, kinerja sintesis tampilan baru, dll. pada kumpulan data Blender. Di bawah pengaturan jaringan yang sama, KAN sedikit mengungguli MLP dalam sintesis tampilan baru, menunjukkan bahwa KAN memiliki kemampuan pemasangan yang lebih kuat. Namun, kecepatan inferensi dan pelatihan KAN secara signifikan** lebih lambat dibandingkan MLP. Selain itu, dengan jumlah parameter yang sebanding, kinerja KAN di bawah MLP.
| Model | NeRFakto | NeRFacto Kecil | KANeRF |
|---|---|---|---|
| Parameter Jaringan yang Dapat Dilatih | 8192 | 2176 | 7131 |
| Parameter Jaringan Total | 8192 | 2176 | 10683 |
| tersembunyi_redup | 64 | 8 | 8 |
| warna redup yang tersembunyi | 64 | 8 | 8 |
| jumlah lapisan | 2 | 1 | 1 |
| warna jumlah lapisan | 2 | 1 | 1 |
| geo feat redup | 15 | 7 | 7 |
| penampilan tertanam redup | 32 | 8 | 8 |
| Waktu Pelatihan | 14 menit 13 detik | 13 menit 47 detik | 37 menit 20 detik |
| FPS | 2.5 | ~2.5 | 0,95 |
| LPIP | 0,0132 | 0,0186 | 0,0154 |
| PSNR | 33.69 | 32.67 | 33.10 |
| SSIM | 0,973 | 0,962 | 0,966 |
| Kehilangan |  |  |  |
| hasil (rgb) | nerfacto_rgb.mp4 | nerfacto_tiny_rgb.mp4 | kanerf_rgb.mp4 |
| hasil (kedalaman) | nerfacto_kedalaman.mp4 | nerfacto_tiny_kedalaman.mp4 | kanerf_kedalaman.mp4 |
KAN mempunyai potensi untuk dioptimalkan, khususnya dalam hal percepatan kecepatan inferensinya. Kami berencana untuk mengembangkan KAN versi akselerasi CUDA untuk lebih meningkatkan kinerjanya : D
@Manual {,
title = { Hands-On NeRF with KAN } ,
author = { Delin Qu, Qizhi Chen } ,
year = { 2024 } ,
url = { https://github.com/Tavish9/KANeRF } ,
}
