Editor Gratis

Repo Ini Sedang Dibangun! Terima kasih atas kesabarannya. Harus Selesai paling lambat 30 November 2024

Editor Gratis: Pengeditan Pemandangan 3D Berbasis Teks Zero-shot

Jika Anda menyukai proyek kami, beri kami bintang di GitHub untuk pembaruan terkini.

Halaman proyek | Kertas

? Highlight

Editor Gratis memungkinkan Anda mengedit adegan 3D dengan mengedit hanya satu tampilan adegan itu. Pengeditannya bebas pelatihan dan dapat dilakukan dalam waktu 3 menit! bukannya 70 menit! di SOTA.

Bebas pelatihan, Tampilan Konsisten, Berkualitas Tinggi, dan Berkecepatan Tinggi

• Difusi Stabil (SD) untuk menghasilkan gambar --> berkualitas tinggi
• Pengeditan Tampilan Tunggal --> peluang lebih tinggi untuk pengeditan yang konsisten dengan tampilan karena sulit mendapatkan efek pengeditan yang konsisten dalam beberapa tampilan dengan SD
• Proses pengeditannya bebas pelatihan karena kami menggunakan model NeRF umum --> rekonstruksi konten 3D cepat berkualitas tinggi.

Pembaruan

Selamat menonton ? repositori ini untuk pembaruan terkini.

✅ [2023.12.21] : Kami telah merilis makalah kami, Editor Gratis di arXiv.

✅ [2023.12.18] : Rilis halaman proyek.

• Rilis kode.

Metodologi

Ikhtisar metode yang kami usulkan. Kami melatih NeRF umum (G(.)) yang mengambil satu tampilan awal yang diedit dan tampilan sumber M untuk merender tampilan target baru. Di sini, "Tampilan Target yang Diedit" bukanlah masukan ke model, melainkan akan dirender dan berfungsi sebagai kebenaran dasar untuk prediksi G(.). Di G(.) kami menggunakan Edit Transformer khusus yang memanfaatkan: perhatian silang untuk menghasilkan peta fitur sumber berdasarkan gaya yang akan dikumpulkan melalui Epipolar Transformer. Sebagai kesimpulan, kita dapat mensintesis tampilan-tampilan baru yang telah diedit dengan cara yang zero-shot. Untuk mengedit adegan, kami hanya mengambil satu gambar sebagai tampilan awal dan mengeditnya menggunakan model difusi Text-to-Image (T2I). Berdasarkan tampilan awal ini, kita dapat merender tampilan target baru yang telah diedit.

Pelaksanaan

Ciptakan lingkungan

Lakukan Hal Berikut-

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

Instal dependensi

• Jika Anda sudah menginstallnya, pertama-tama pastikan untuk uninstall menggunakan perintah ini:

      pip uninstall torch torchvision functorch tinycudann

• Kemudian Instal CUDA 11.8 dengan perintah ini:

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

• Kemudian instal Pytorch 2.1.2 menggunakan perintah ini:

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

• Setelah pytorch dan ninja, pasang pengikat obor untuk tiny-cuda-nn:

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

• Menginstal NerfStudio: Terkadang, Anda mungkin menghadapi masalah dengan configobj atau paket lain, instal secara manual dari sumber. Misalnya,

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

• Dari pip (tidak berfungsi di cluster):

      pip install nerfstudio

• Jika Anda ingin membangun dari sumber dan menginginkan versi pengembangan terbaru, gunakan perintah ini:

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

• Unduh beberapa data pengujian:

      ns-download-data nerfstudio --capture-name=poster           

• Model kereta api

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

Mungkin ada dependensi tambahan yang harus Anda instal juga.

Unduh Kumpulan Data dan Model Terlatih

Untuk mengunduh kumpulan data lainnya, silakan kunjungi tautan ini - https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

• Di sini, "synthetic_scenes.zip" adalah data deepvoxels.

• "nerf_synthetic" dan kumpulan data blender mungkin merupakan kumpulan data yang sama.

• "frames.zip" adalah bingkai yang diekstraksi untuk 200 adegan kumpulan data RealEstate10K. "train.zip" adalah file kamera.

• Untuk Kumpulan Data Mengkilap, buka - https://nex-mpi.github.io/

• Untuk Kumpulan Data Ruang,

      git clone https://github.com/augmentedperception/spaces_dataset

• Jika Anda ingin menggunakan "nerfbaselines",

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

• Unduh Contoh Kumpulan Data. Misalnya,

• Mengunduh pemandangan taman ke folder cache.

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

• Mengunduh semua adegan nerfstudio ke cache

      nerfbaselines download-dataset external://nerfstudio

• Unduh adegan dapur ke folder dapur

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

• Model Pembuatan Teks.

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

Jika Anda ingin menggunakan versi yang lebih kecil, gunakan ini

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

• Difusi Stabil 3 Sedang (Cepat dan Akurat). Namun, ini belum mendukung pengeditan teks ke gambar. Jadi, kami menggunakan v1.5 yang bisa diunduh secara otomatis (Lihat langkah selanjutnya).

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

• Jika Anda tidak ingin mengunduh model terlatih, buat token akses dalam pelukan wajah (Buka pengaturan akun Anda) dan masuk ke akun Anda

      huggingface-cli login

Pembuatan Kumpulan Data Editor Gratis

      python src/fedit/dataset_creation.py 

Pelatihan Editor Gratis

      python train.py 

Hasil Pengeditan 3D

Perbandingan kualitatif

Perbandingan kuantitatif

Evaluasi kuantitatif pengeditan adegan dalam hal Edit PSNR, CLIP Text-Image Directional Kemiripan (CTDS) dan konsistensi arah CLIP (CDS).

? Pengakuan

Karya ini dibangun berdasarkan banyak karya penelitian luar biasa dan proyek sumber terbuka, terima kasih banyak kepada semua penulis yang telah berbagi!

• InstruksikanPix2Pix
• Instruksikan-NeRF2NeRF
• Diffuser

✏️ Kutipan

Jika Anda merasa makalah dan kode kami berguna dalam penelitian Anda, mohon pertimbangkan untuk memberikan bintang dan kutipan.

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}