КАН: Kolmogorov-Arnold Networks — многообещающий конкурент традиционным MLP. Мы очень рады интеграции KAN в NeRF! Подходит ли KAN для задач синтеза представлений ? С какими проблемами мы столкнемся? Как мы с ними справимся? Мы предоставляем наши первоначальные наблюдения и дальнейшее обсуждение!
KANeRF построен на основе nerfstudio и Efficient-KAN. Если у вас возникнут какие-либо проблемы, посетите веб-сайт для получения подробных инструкций по установке.
# create python env
conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip
# install torch
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit
# install tinycudann
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch
# install nerfstudio
pip install nerfstudio
# install efficient-kan
pip install git+https://github.com/Blealtan/efficient-kan.gitМы интегрируем KAN и NeRFacto и сравниваем KANeRF с NeRFacto с точки зрения параметров модели, времени обучения, производительности синтеза новых представлений и т. д. в наборе данных Blender. При тех же настройках сети KAN немного превосходит MLP в синтезе новых представлений, что позволяет предположить, что KAN обладает более мощными возможностями подгонки. Однако скорость вывода и обучения KAN значительно** медленнее, чем у MLP. Более того, при сопоставимом количестве параметров KAN уступает MLP.
| Модель | NeRFacto | NeRFacto Tiny | КАНеРФ |
|---|---|---|---|
| Обучаемые параметры сети | 8192 | 2176 | 7131 |
| Общие параметры сети | 8192 | 2176 | 10683 |
| скрытый_дим | 64 | 8 | 8 |
| скрытый тусклый цвет | 64 | 8 | 8 |
| количество слоев | 2 | 1 | 1 |
| количество слоев цвета | 2 | 1 | 1 |
| гео с участием Дима | 15 | 7 | 7 |
| внешний вид встроить тусклый | 32 | 8 | 8 |
| Время обучения | 14 минут 13 секунд | 13 минут 47 секунд | 37 минут 20 секунд |
| ФПС | 2,5 | ~2,5 | 0,95 |
| ЛПИПС | 0,0132 | 0,0186 | 0,0154 |
| ПСНР | 33,69 | 32,67 | 33.10 |
| ССИМ | 0,973 | 0,962 | 0,966 |
| Потеря |  |  |  |
| результат (RGB) | nerfacto_rgb.mp4 | nerfacto_tiny_rgb.mp4 | kanerf_rgb.mp4 |
| результат (глубина) | nerfacto_глубина.mp4 | nerfacto_tiny_length.mp4 | kanerf_глубина.mp4 |
KAN имеет потенциал для оптимизации, особенно в отношении ускорения скорости вывода. Мы планируем разработать версию KAN с ускорением CUDA для дальнейшего повышения ее производительности : D
@Manual {,
title = { Hands-On NeRF with KAN } ,
author = { Delin Qu, Qizhi Chen } ,
year = { 2024 } ,
url = { https://github.com/Tavish9/KANeRF } ,
}
