Éditeur gratuit

Ce dépôt est en construction ! Merci pour votre patience. Devrait être terminé d'ici le 30 novembre 2024

Free-Editor : Édition de scènes 3D basée sur le texte sans prise de vue

Si vous aimez notre projet, donnez-nous une étoile sur GitHub pour la dernière mise à jour.

Page du projet | Papier

? Points forts

Free-Editor vous permet d'éditer vos scènes 3D en éditant une seule vue de cette scène. Le montage ne nécessite aucune formation et peut être effectué en 3 minutes ! au lieu de 70 minutes ! dans SOTA.

Sans formation, vue cohérente, de haute qualité et rapide

• Diffusion stable (SD) pour la génération d'images --> haute qualité
• Édition d'une seule vue -> plus grandes chances d'édition cohérente avec la vue car il est difficile d'obtenir des effets d'édition cohérents dans plusieurs vues avec SD
• Le processus d'édition ne nécessite aucune formation car nous utilisons un modèle NeRF généralisé --> une reconstruction rapide du contenu 3D de haute qualité.

Mises à jour

Bienvenue à regarder ? ce référentiel pour les dernières mises à jour.

✅ [2023.12.21] : Nous avons publié notre article, Free-Editor sur arXiv.

✅ [2023.12.18] : Sortie de la page du projet.

• Publication du code.

Méthodologie

Aperçu de notre méthode proposée. Nous formons un NeRF généralisé (G(.)) qui prend une seule vue de départ éditée et M vues source pour restituer une nouvelle vue cible. Ici, "Edited Target View" n'est pas l'entrée du modèle mais sera plutôt rendue et fonctionne comme la vérité terrain pour la prédiction de G(.). Dans G(.), nous utilisons un transformateur d'édition spécial qui utilise : une attention croisée pour produire des cartes de caractéristiques sources informées par le style qui seront agrégées via un transformateur épipolaire. Lors de l'inférence, nous pouvons synthétiser de nouvelles vues éditées de manière zéro. Pour éditer une scène, nous prenons une seule image comme vue de départ et la modifions à l'aide d'un modèle de diffusion Text-to-Image (T2I). Sur la base de cette vue de départ, nous pouvons restituer de nouvelles vues cibles modifiées.

Mise en œuvre

Créer un environnement

Faites ce qui suit-

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

Installer les dépendances

• Si vous disposez d'une installation existante, assurez-vous d'abord de la désinstaller à l'aide de cette commande :

      pip uninstall torch torchvision functorch tinycudann

• Installez ensuite CUDA 11.8 avec cette commande :

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

• Installez ensuite Pytorch 2.1.2 à l'aide de cette commande :

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

• Après pytorch et ninja, installez les liaisons de torche pour tiny-cuda-nn :

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

• Installation de NerfStudio : Parfois, vous pouvez rencontrer des problèmes avec configobj ou d'autres packages, installez-les manuellement à partir des sources. Par exemple,

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

• Depuis pip (cela ne fonctionne pas en cluster):

      pip install nerfstudio

• Si vous souhaitez compiler à partir des sources et que vous souhaitez la dernière version de développement, utilisez cette commande :

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

• Téléchargez quelques données de test :

      ns-download-data nerfstudio --capture-name=poster           

• Modèle de train

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

Vous devrez peut-être également installer des dépendances supplémentaires.

Télécharger des ensembles de données et des modèles pré-entraînés

Pour télécharger d'autres ensembles de données, veuillez visiter ce lien - https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

• Ici, "synthetic_scenes.zip" correspond aux données deepvoxels.

• "nerf_synthetic" et l'ensemble de données Blender sont peut-être le même ensemble de données.

• "frames.zip" correspond aux images extraites pour 200 scènes de l'ensemble de données RealEstate10K. "train.zip" correspond aux fichiers de la caméra.

• Pour Shiny Dataset, accédez à - https://nex-mpi.github.io/

• Pour l'ensemble de données Spaces,

      git clone https://github.com/augmentedperception/spaces_dataset

• Si vous souhaitez utiliser des "nerfbaselines",

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

• Téléchargez des exemples d'ensembles de données. Par exemple,

• Télécharge la scène de jardin dans le dossier cache.

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

• Télécharge toutes les scènes de nerfstudio dans le cache

      nerfbaselines download-dataset external://nerfstudio

• Télécharge la scène de cuisine dans le dossier Cuisine

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

• Modèle de génération de sous-titres.

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

Si vous souhaitez utiliser une version plus petite, utilisez ceci

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

• Diffusion stable 3 Medium (rapide et précise). Cependant, il ne prend pas encore en charge l’édition texte-image. Nous utilisons donc la v1.5 qui peut être téléchargée automatiquement (Voir l'étape suivante).

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

• Si vous ne souhaitez pas télécharger le modèle pré-entraîné, générez un jeton d'accès en serrant le visage (Accédez aux paramètres de votre compte) et connectez-vous à votre compte

      huggingface-cli login

Génération d'ensembles de données avec un éditeur gratuit

      python src/fedit/dataset_creation.py 

Formation d'éditeur gratuite

      python train.py 

Résultats de l'édition 3D

Comparaison qualitative

Comparaison quantitative

Évaluation quantitative des modifications de scène en termes d'édition PSNR, de similarité directionnelle texte-image CLIP (CTDS) et de cohérence directionnelle CLIP (CDS).

? Reconnaissance

Ce travail est construit sur de nombreux travaux de recherche étonnants et projets open source, merci beaucoup à tous les auteurs pour le partage !

• InstruirePix2Pix
• Instruire-NeRF2NeRF
• Diffuseurs

✏️Citation

Si vous trouvez notre article et notre code utiles dans votre recherche, pensez à donner une étoile et une citation.

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}