Kostenloser Editor

Dieses Repo ist im Aufbau! Danke für die Geduld. Sollte bis zum 30. November 2024 abgeschlossen sein

Free-Editor: Textgesteuerte 3D-Szenenbearbeitung ohne Aufnahme

Wenn Ihnen unser Projekt gefällt, geben Sie uns bitte einen Stern auf GitHub für das neueste Update.

Projektseite | Papier

? Höhepunkte

Mit Free-Editor können Sie Ihre 3D-Szenen bearbeiten, indem Sie nur eine einzige Ansicht dieser Szene bearbeiten . Die Bearbeitung ist schulungsfrei und in nur 3 Minuten erledigt! statt 70 Minuten! in SOTA.

Schulungsfrei, konsistente Ansicht, hohe Qualität und hohe Geschwindigkeit

• Stabile Diffusion (SD) zur Bilderzeugung -> hohe Qualität
• Einzelansichtsbearbeitung -> höhere Chance auf ansichtskonsistente Bearbeitung, da es mit SD schwierig ist, konsistente Bearbeitungseffekte in mehreren Ansichten zu erzielen
• Der Bearbeitungsprozess ist schulungsfrei, da wir ein verallgemeinertes NeRF-Modell verwenden –> schnelle, hochwertige 3D-Inhaltsrekonstruktion.

Aktualisierungen

Willkommen zum Zuschauen ? Dieses Repository für die neuesten Updates.

✅ [21.12.2023] : Wir haben unseren Artikel Free-Editor auf arXiv veröffentlicht.

✅ [18.12.2023] : Projektseite veröffentlichen.

• Code-Veröffentlichung.

Methodik

Überblick über unsere vorgeschlagene Methode. Wir trainieren ein verallgemeinertes NeRF (G(.)), das eine einzelne bearbeitete Startansicht und M Quellansichten benötigt, um eine neuartige Zielansicht zu rendern. Hier ist „Bearbeitete Zielansicht“ nicht die Eingabe in das Modell, sondern wird gerendert und dient als Grundwahrheit für die Vorhersage von G(.). In G(.) verwenden wir einen speziellen Edit Transformer, der Cross-Attention nutzt, um stilinformierte Quell-Feature-Maps zu erstellen, die über einen Epipolar Transformer aggregiert werden. Bei der Schlussfolgerung können wir neuartige bearbeitete Ansichten im Zero-Shot-Verfahren synthetisieren. Um eine Szene zu bearbeiten, nehmen wir nur ein einzelnes Bild als Startansicht und bearbeiten es mithilfe eines Text-to-Image (T2I)-Diffusionsmodells. Basierend auf dieser Startansicht können wir neuartige bearbeitete Zielansichten rendern.

Durchführung

Umgebung schaffen

Gehen Sie wie folgt vor:

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

Abhängigkeiten installieren

• Wenn Sie bereits eine Installation haben, stellen Sie zunächst sicher, dass Sie sie mit diesem Befehl deinstallieren:

      pip uninstall torch torchvision functorch tinycudann

• Dann installieren Sie CUDA 11.8 mit diesem Befehl:

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

• Installieren Sie dann Pytorch 2.1.2 mit diesem Befehl:

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

• Installieren Sie nach Pytorch und Ninja die Torch-Bindungen für tiny-cuda-nn:

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

• NerfStudio installieren: Manchmal kann es zu Problemen mit configobj oder anderen Paketen kommen. Installieren Sie diese manuell aus der Quelle. Zum Beispiel,

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

• Von pip (funktioniert nicht im Cluster):

      pip install nerfstudio

• Wenn Sie aus dem Quellcode erstellen möchten und die neueste Entwicklungsversion benötigen, verwenden Sie diesen Befehl:

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

• Laden Sie einige Testdaten herunter:

      ns-download-data nerfstudio --capture-name=poster           

• Zugmodell

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

Möglicherweise müssen Sie auch zusätzliche Abhängigkeiten installieren.

Laden Sie Datensätze und vorab trainierte Modelle herunter

Um andere Datensätze herunterzuladen, besuchen Sie bitte diesen Link – https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

• Hier sind „synthetic_scenes.zip“ die Deepvoxels-Daten.

• „nerf_synthetic“ und Blender-Datensatz möglicherweise derselbe Datensatz.

• „frames.zip“ sind die extrahierten Frames für 200 Szenen des RealEstate10K-Datensatzes. „train.zip“ sind die Kameradateien.

• Für Shiny Dataset gehen Sie zu - https://nex-mpi.github.io/

• Für den Spaces-Datensatz:

      git clone https://github.com/augmentedperception/spaces_dataset

• Wenn Sie „nerfbaselines“ verwenden möchten,

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

• Laden Sie Beispieldatensätze herunter. Zum Beispiel,

• Lädt die Gartenszene in den Cache-Ordner herunter.

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

• Lädt alle Nerfstudio-Szenen in den Cache herunter

      nerfbaselines download-dataset external://nerfstudio

• Lädt die Kithen-Szene in den Ordner „Küche“ herunter

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

• Modell zur Untertitelgenerierung.

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

Wenn Sie eine kleinere Version verwenden möchten, verwenden Sie diese

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

• Stabiles Diffusions-3-Medium (schnell und genau). Allerdings wird die Text-zu-Bild-Bearbeitung noch nicht unterstützt. Daher verwenden wir Version 1.5, die automatisch heruntergeladen werden kann (siehe nächster Schritt).

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

• Wenn Sie das vorab trainierte Modell nicht herunterladen möchten, generieren Sie ein Zugriffstoken in Hugging Face (gehen Sie zu Ihren Kontoeinstellungen) und melden Sie sich bei Ihrem Konto an

      huggingface-cli login

Generierung von Datensätzen mit freiem Editor

      python src/fedit/dataset_creation.py 

Kostenlose Redaktionsschulung

      python train.py 

3D-Bearbeitungsergebnisse

Qualitativer Vergleich

Quantitativer Vergleich

Quantitative Bewertung von Szenenbearbeitungen im Hinblick auf Edit PSNR, CLIP Text-Image Directional Similarity (CTDS) und CLIP Directional Consistency (CDS).

? Anerkennung

Diese Arbeit basiert auf vielen erstaunlichen Forschungsarbeiten und Open-Source-Projekten. Vielen Dank an alle Autoren für das Teilen!

• InstructPix2Pix
• Instruct-NeRF2NeRF
• Diffusoren

✏️ Zitat

Wenn Sie unser Papier und unseren Code für Ihre Recherche nützlich finden, denken Sie bitte darüber nach, einen Stern zu vergeben und zu zitieren.

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}