CANeRF

NeRF เชิงปฏิบัติพร้อม KAN

KAN: Kolmogorov-Arnold Networks เป็นผู้ท้าชิงที่มีศักยภาพสำหรับ MLP แบบดั้งเดิม เรารู้สึกตื่นเต้นมากที่ได้รวม KAN เข้ากับ NeRF! KAN เหมาะสำหรับงาน การสังเคราะห์มุมมอง หรือไม่ เราจะเผชิญกับความท้าทายอะไรบ้าง? เราจะจัดการกับพวกเขาอย่างไร? เราให้ข้อสังเกตเบื้องต้นและการอภิปรายในอนาคต!

main.mp4

อัพเดทข่าว

• เผยแพร่การใช้งาน KANeRF บนพื้นฐาน PyKAN
• เผยแพร่การใช้งาน KANeRF อย่างมีประสิทธิภาพโดยใช้ Efficient-KAN ซึ่งเพิ่มความเร็วได้ถึง 15 เท่า! -
• - เราจะทำการประเมินเพิ่มเติม คอยติดตาม! : D

การติดตั้ง

KANeRF สร้างขึ้นจาก nerfstudio และ Efficient-KAN โปรดดูคำแนะนำในการติดตั้งโดยละเอียดที่เว็บไซต์ หากคุณพบปัญหาใดๆ

 # create python env
conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip

# install torch
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

# install tinycudann
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

# install nerfstudio
pip install nerfstudio

# install efficient-kan
pip install git+https://github.com/Blealtan/efficient-kan.git

การเปรียบเทียบประสิทธิภาพ

เราผสานรวม KAN และ NeRFacto และเปรียบเทียบ KANeRF กับ NeRFacto ในแง่ของพารามิเตอร์โมเดล เวลาการฝึกอบรม ประสิทธิภาพการสังเคราะห์มุมมองใหม่ ฯลฯ บนชุดข้อมูล Blender ภายใต้การตั้งค่าเครือข่ายเดียวกัน KAN มีประสิทธิภาพเหนือกว่า MLP เล็กน้อย ในการสังเคราะห์มุมมองแบบใหม่ ซึ่งบ่งบอกว่า KAN มีความสามารถในการติดตั้งที่ทรงพลังกว่า อย่างไรก็ตาม ความเร็วในการอนุมานและการฝึกอบรมของ KAN นั้นช้ากว่า MLP อย่างมาก** นอกจากนี้ ด้วยจำนวนพารามิเตอร์ที่เทียบเคียงได้ KAN จึงมีประสิทธิภาพต่ำกว่า MLP

แบบอย่าง	NeRFacto	เนอแฟคโต ไทนี่	KANeRF
พารามิเตอร์เครือข่ายที่ฝึกได้	8192	2176	7131
พารามิเตอร์เครือข่ายทั้งหมด	8192	2176	10683
ซ่อนเร้น_สลัว	64	8	8
สีสลัวที่ซ่อนอยู่	64	8	8
จำนวนชั้น	2	1	1
จำนวนชั้นสี	2	1	1
เพลงทางภูมิศาสตร์สลัว	15	7	7
ลักษณะฝังสลัว	32	8	8
เวลาการฝึกอบรม	14น. 13ส	13น. 47ส	37น. 20ส
เฟรมต่อวินาที	2.5	~2.5	0.95
ลิปส์	0.0132	0.0186	0.0154
พีเอสเอ็นอาร์	33.69	32.67	33.10
เอสเอสซิม	0.973	0.962	0.966
การสูญเสีย
ผลลัพธ์ (rgb)	nerfacto_rgb.mp4	nerfacto_tiny_rgb.mp4	kanerf_rgb.mp4
ผลลัพธ์ (ความลึก)	nerfacto_deep.mp4	nerfacto_tiny_deep.mp4	kanerf_deep.mp4

KAN มีศักยภาพในการเพิ่มประสิทธิภาพ โดยเฉพาะอย่างยิ่งในเรื่องของการเร่งความเร็วในการอนุมาน เราวางแผนที่จะพัฒนา KAN เวอร์ชันเร่งด้วย CUDA เพื่อเพิ่มประสิทธิภาพให้ดียิ่งขึ้น: D

• การแสดงภาพ KanNeRF

ติดต่อเรา

 @Manual {,
   title = { Hands-On NeRF with KAN } ,
   author = { Delin Qu, Qizhi Chen } ,
   year = { 2024 } ,
   url = { https://github.com/Tavish9/KANeRF } ,
 }