كان: تعد شركة Kolmogorov-Arnold Networks منافسًا واعدًا لشركات MLP التقليدية. يسعدنا دمج KAN في NeRF! هل KAN مناسب لمهام تركيب العرض ؟ ما هي التحديات التي سنواجهها؟ كيف سنتعامل معهم؟ نحن نقدم ملاحظاتنا الأولية والمناقشة المستقبلية!
تم بناء KANERF على أساس nerfstudio وEfficient-KAN. يرجى الرجوع إلى موقع الويب للحصول على تعليمات التثبيت التفصيلية إذا واجهت أي مشاكل.
# create python env
conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip
# install torch
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit
# install tinycudann
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch
# install nerfstudio
pip install nerfstudio
# install efficient-kan
pip install git+https://github.com/Blealtan/efficient-kan.gitنحن ندمج KAN وNeRFacto ونقارن KANeRF مع NeRFacto من حيث معلمات النموذج ووقت التدريب وأداء تركيب العرض الجديد وما إلى ذلك في مجموعة بيانات Blender. في ظل نفس إعدادات الشبكة، تتفوق KAN قليلاً على MLP في تركيب العرض الجديد، مما يشير إلى أن KAN تمتلك قدرة تركيب أكثر قوة. ومع ذلك، فإن سرعة الاستدلال والتدريب الخاصة بـ KAN أبطأ بشكل ملحوظ ** من تلك الخاصة بـ MLP. علاوة على ذلك، مع وجود عدد مماثل من المعلمات، فإن أداء KAN يكون أقل من أداء MLP.
| نموذج | NeRFacto | نرفاكتو تايني | كانريف |
|---|---|---|---|
| معلمات الشبكة القابلة للتدريب | 8192 | 2176 | 7131 |
| إجمالي معلمات الشبكة | 8192 | 2176 | 10683 |
| Hidden_dim | 64 | 8 | 8 |
| لون خافت مخفي | 64 | 8 | 8 |
| عدد الطبقات | 2 | 1 | 1 |
| عدد طبقات اللون | 2 | 1 | 1 |
| الجغرافية الفذ قاتمة | 15 | 7 | 7 |
| مظهر تضمين قاتمة | 32 | 8 | 8 |
| وقت التدريب | 14 م 13 ث | 13 م 47 ث | 37 م 20 ثانية |
| إطارا في الثانية | 2.5 | ~2.5 | 0.95 |
| LPIPS | 0.0132 | 0.0186 | 0.0154 |
| PSNR | 33.69 | 32.67 | 33.10 |
| SSIM | 0.973 | 0.962 | 0.966 |
| خسارة |  |  |  |
| النتيجة (RGB) | nerfacto_rgb.mp4 | nerfacto_tiny_rgb.mp4 | kanerf_rgb.mp4 |
| النتيجة (العمق) | nerfacto_عمق.mp4 | nerfacto_tiny_عمق.mp4 | kanerf_ Deep.mp4 |
تتمتع KAN بإمكانية التحسين، خاصة فيما يتعلق بتسريع سرعة الاستدلال الخاصة بها. نحن نخطط لتطوير نسخة معجلة من CUDA من KAN لتعزيز أدائها بشكل أكبر: D
@Manual {,
title = { Hands-On NeRF with KAN } ,
author = { Delin Qu, Qizhi Chen } ,
year = { 2024 } ,
url = { https://github.com/Tavish9/KANeRF } ,
}
