โปรแกรมแก้ไขฟรี

Repo นี้อยู่ระหว่างการก่อสร้าง! ขอบคุณสำหรับความอดทน ควรแล้วเสร็จภายในวันที่ 30 พฤศจิกายน 2024

ตัวแก้ไขฟรี: การแก้ไขฉาก 3 มิติที่ขับเคลื่อนด้วยข้อความแบบ Zero-shot

หากคุณชอบโครงการของเรา โปรดติดดาวบน GitHub เพื่อรับการอัปเดตล่าสุด

หน้าโครงการ | กระดาษ

- ไฮไลท์

Free-Editor ช่วยให้คุณสามารถแก้ไขฉาก 3D ของคุณโดย แก้ไขเพียงมุมมองเดียว ของฉากนั้น การแก้ไขนั้น ไม่ต้องฝึกอบรม และสามารถทำได้ภายในเวลา 3 นาที! แทน 70 นาที! ในโซต้า

ไม่ต้องฝึกฝน ดูสม่ำเสมอ มีคุณภาพสูงและรวดเร็ว

• Stable Diffusion (SD) สำหรับการสร้างภาพ -> คุณภาพสูง
• การแก้ไขมุมมองเดียว --> มีโอกาสสูงในการแก้ไขมุมมองที่สอดคล้องกัน เนื่องจากเป็นการยากที่จะได้รับเอฟเฟกต์การแก้ไขที่สอดคล้องกันในหลายมุมมองด้วย SD
• กระบวนการแก้ไขไม่ต้องมีการฝึกอบรม เนื่องจากเราใช้โมเดล NeRF ทั่วไป --> การสร้างเนื้อหา 3D คุณภาพสูงขึ้นใหม่อย่างรวดเร็ว

อัพเดท

ยินดีต้อนรับสู่ การชม ? พื้นที่เก็บข้อมูลนี้สำหรับการอัพเดตล่าสุด

✅ [2023.12.21] : เราได้เผยแพร่รายงาน Free-Editor บน arXiv แล้ว

✅ [2023.12.18] : เปิดตัวหน้าโครงการ

• ปล่อยโค้ด.

ระเบียบวิธี

ภาพรวมของวิธีการที่เรานำเสนอ เราฝึก NeRF (G(.)) ทั่วไปที่ใช้มุมมองเริ่มต้นที่แก้ไขเพียงครั้งเดียวและมุมมองแหล่งที่มา M เพื่อเรนเดอร์มุมมองเป้าหมายใหม่ ในที่นี้ ”มุมมองเป้าหมายที่แก้ไข” ไม่ใช่อินพุตของโมเดล แต่จะถูกเรนเดอร์และทำงานเป็นความจริงพื้นฐานสำหรับการทำนายของ G(.) ใน G(.) เราใช้ Edit Transformer พิเศษที่ใช้: การให้ความสนใจข้ามสายเพื่อสร้างแผนผังคุณลักษณะแหล่งที่มาตามสไตล์ที่จะถูกรวบรวมผ่าน Epipolar Transformer ในการอนุมาน เราสามารถสังเคราะห์มุมมองที่แก้ไขใหม่ในลักษณะซีโร่ช็อตได้ ในการแก้ไขฉาก เราจะถ่ายภาพเพียงภาพเดียวเป็นมุมมองเริ่มต้นและแก้ไขโดยใช้โมเดลการแพร่กระจายข้อความเป็นรูปภาพ (T2I) จากมุมมองเริ่มต้นนี้ เราสามารถแสดงมุมมองเป้าหมายที่แก้ไขใหม่ได้

การนำไปปฏิบัติ

สร้างสภาพแวดล้อม

ทำสิ่งต่อไปนี้-

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

ติดตั้งการพึ่งพา

• หากคุณมีการติดตั้งที่มีอยู่ ขั้นแรกตรวจสอบให้แน่ใจว่าได้ถอนการติดตั้งโดยใช้คำสั่งนี้:

      pip uninstall torch torchvision functorch tinycudann

• จากนั้นติดตั้ง CUDA 11.8 ด้วยคำสั่งนี้:

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

• จากนั้นติดตั้ง Pytorch 2.1.2 โดยใช้คำสั่งนี้:

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

• หลังจาก pytorch และ ninja ให้ติดตั้งการผูกคบเพลิงสำหรับ Tiny-cuda-nn:

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

• การติดตั้ง NerfStudio: บางครั้ง คุณอาจประสบปัญหากับ configobj หรือแพ็คเกจอื่นๆ ให้ติดตั้งด้วยตนเองจากแหล่งที่มา ตัวอย่างเช่น,

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

• จาก pip (ใช้ไม่ได้ในคลัสเตอร์):

      pip install nerfstudio

• หากคุณต้องการบิลด์จากซอร์สและต้องการเวอร์ชันการพัฒนาล่าสุด ให้ใช้คำสั่งนี้:

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

• ดาวน์โหลดข้อมูลการทดสอบบางส่วน:

      ns-download-data nerfstudio --capture-name=poster           

• โมเดลรถไฟ

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

อาจมีการอ้างอิงเพิ่มเติมที่คุณต้องติดตั้งเช่นกัน

ดาวน์โหลดชุดข้อมูลและโมเดลที่ได้รับการฝึกอบรมล่วงหน้า

หากต้องการดาวน์โหลดชุดข้อมูลอื่นๆ โปรดไปที่ลิงก์นี้ - https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

• ที่นี่ "synthetic_scenes.zip" คือข้อมูล deepvoxels

• ชุดข้อมูล "nerf_synthetic" และ blender อาจเป็นชุดข้อมูลเดียวกัน

• "frames.zip" คือเฟรมที่แยกออกมาสำหรับ 200 ฉากของชุดข้อมูล RealEstate10K "train.zip" คือไฟล์ของกล้อง

• สำหรับ Shiny Dataset ให้ไปที่ - https://nex-mpi.github.io/

• สำหรับชุดข้อมูล Spaces

      git clone https://github.com/augmentedperception/spaces_dataset

• หากคุณต้องการใช้ "nerfbaselines"

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

• ดาวน์โหลดชุดข้อมูลตัวอย่าง ตัวอย่างเช่น,

• ดาวน์โหลดฉากสวนลงในโฟลเดอร์แคช

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

• ดาวน์โหลดฉาก nerfstudio ทั้งหมดลงในแคช

      nerfbaselines download-dataset external://nerfstudio

• ดาวน์โหลดฉากครัวไปยังโฟลเดอร์ครัว

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

• รูปแบบการสร้างคำบรรยายภาพ

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

หากคุณต้องการใช้เวอร์ชันที่เล็กกว่านี้ให้ใช้สิ่งนี้

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

• การแพร่กระจายที่เสถียร 3 ปานกลาง (รวดเร็วและแม่นยำ) อย่างไรก็ตาม ยังไม่รองรับการแก้ไขข้อความเป็นรูปภาพ เราจึงใช้เวอร์ชัน 1.5 ซึ่งสามารถดาวน์โหลดได้อัตโนมัติ (ดูขั้นตอนถัดไป)

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

• หากคุณไม่ต้องการดาวน์โหลดโมเดลที่ได้รับการฝึกล่วงหน้า ให้สร้างโทเค็นการเข้าถึงด้วยการกอดหน้า (ไปที่การตั้งค่าบัญชีของคุณ) และลงชื่อเข้าใช้บัญชีของคุณ

      huggingface-cli login

การสร้างชุดข้อมูลตัวแก้ไขฟรี

      python src/fedit/dataset_creation.py 

การฝึกอบรมบรรณาธิการฟรี

      python train.py 

ผลลัพธ์การแก้ไข 3 มิติ

การเปรียบเทียบเชิงคุณภาพ

การเปรียบเทียบเชิงปริมาณ

การประเมินเชิงปริมาณของการแก้ไขฉากในแง่ของการแก้ไข PSNR, ความคล้ายคลึงกันของทิศทางข้อความและรูปภาพของ CLIP (CTDS) และความสอดคล้องของทิศทางของ CLIP (CDS)

- รับทราบ

งานนี้สร้างขึ้นจากงานวิจัยที่น่าทึ่งและโครงการโอเพ่นซอร์สมากมาย ขอขอบคุณผู้เขียนทุกคนที่แบ่งปัน!

• สอนPix2Pix
• คำสั่ง-NeRF2NeRF
• เครื่องกระจายกลิ่น

✏️การอ้างอิง

หากคุณพบว่ารายงานและรหัสของเรามีประโยชน์ในการวิจัยของคุณ โปรดพิจารณาให้ดาวและการอ้างอิง

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}