Editor gratuito

¡Este repositorio está en construcción! Gracias por la paciencia. Debe completarse antes del 30 de noviembre de 2024

Free-Editor: edición de escenas 3D basada en texto sin disparo

Si te gusta nuestro proyecto, danos una estrella en GitHub para obtener la última actualización.

Página del proyecto | Papel

? Reflejos

Free-Editor le permite editar sus escenas 3D editando solo una vista de esa escena. ¡La edición no requiere capacitación y se puede realizar en cuestión de 3 minutos! ¡en lugar de 70 minutos! en SOTA.

Sin entrenamiento, visualización consistente, alta calidad y velocidad rápida

• Difusión estable (SD) para generación de imágenes --> alta calidad
• Edición de vista única --> mayor probabilidad de edición consistente con la vista, ya que es difícil obtener efectos de edición consistentes en múltiples vistas con SD
• El proceso de edición no requiere capacitación, ya que utilizamos un modelo NeRF generalizado --> reconstrucción rápida de contenido 3D de alta calidad.

Actualizaciones

Bienvenido a mirar ? este repositorio para obtener las últimas actualizaciones.

✅ [2023.12.21] : Hemos publicado nuestro artículo, Free-Editor en arXiv.

✅ [2023.12.18] : Lanzamiento de la página del proyecto.

• Liberación de código.

Metodología

Descripción general de nuestro método propuesto. Entrenamos un NeRF generalizado (G(.)) que toma una única vista inicial editada y M vistas de origen para representar una vista de destino novedosa. Aquí, la "Vista de destino editada" no es la entrada al modelo, sino que se representará y funciona como la verdad fundamental para la predicción de G(.). En G(.) empleamos un Transformador de edición especial que utiliza: atención cruzada para producir mapas de características fuente informados por el estilo que se agregarán a través de un Transformador epipolar. Por inferencia, podemos sintetizar nuevas vistas editadas de manera cero. Para editar una escena, tomamos solo una imagen como vista inicial y la editamos usando un modelo de difusión de texto a imagen (T2I). Con base en esta vista inicial, podemos representar nuevas vistas de destino editadas.

Implementación

crear ambiente

Haz lo siguiente-

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

Instalar dependencias

• Si ya tiene una instalación, primero asegúrese de desinstalarla usando este comando:

      pip uninstall torch torchvision functorch tinycudann

• Luego instale CUDA 11.8 con este comando:

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

• Luego instale Pytorch 2.1.2 usando este comando:

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

• Después de pytorch y ninja, instale las fijaciones de la antorcha para tiny-cuda-nn:

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

• Instalación de NerfStudio: A veces, puede tener problemas con configobj u otros paquetes, instálelos manualmente desde la fuente. Por ejemplo,

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

• Desde pip (no funciona en cluster):

      pip install nerfstudio

• Si desea compilar desde el código fuente y desea la última versión de desarrollo, use este comando:

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

• Descargue algunos datos de prueba:

      ns-download-data nerfstudio --capture-name=poster           

• modelo de tren

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

Es posible que también deba instalar dependencias adicionales.

Descargar conjuntos de datos y modelos previamente entrenados

Para descargar otros conjuntos de datos, visite este enlace: https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

• Aquí, "synthetic_scenes.zip" son los datos de deepvoxels.

• "nerf_synthetic" y el conjunto de datos de Blender posiblemente sean el mismo conjunto de datos.

• "frames.zip" son los fotogramas extraídos de 200 escenas del conjunto de datos RealEstate10K. "train.zip" son los archivos de la cámara.

• Para Shiny Dataset, vaya a https://nex-mpi.github.io/

• Para el conjunto de datos de espacios,

      git clone https://github.com/augmentedperception/spaces_dataset

• Si desea utilizar "nerfbaselines",

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

• Descargue conjuntos de datos de muestra. Por ejemplo,

• Descarga la escena del jardín a la carpeta de caché.

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

• Descarga todas las escenas de nerfstudio al caché

      nerfbaselines download-dataset external://nerfstudio

• Descarga escena de cocina a carpeta cocina

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

• Modelo de generación de subtítulos.

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

Si desea utilizar una versión más pequeña, utilice esta

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

• Difusión Estable 3 Media (Rápida y Precisa). Sin embargo, todavía no admite la edición de texto a imagen. Entonces, usamos la versión 1.5 que se puede descargar automáticamente (consulte el siguiente paso).

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

• Si no desea descargar el modelo previamente entrenado, genere un token de acceso en la cara de abrazo (vaya a la configuración de su cuenta) e inicie sesión en su cuenta.

      huggingface-cli login

Generación de conjuntos de datos con editor gratuito

      python src/fedit/dataset_creation.py 

Capacitación gratuita para editores

      python train.py 

Resultados de edición 3D

Comparación cualitativa

Comparación cuantitativa

Evaluación cuantitativa de ediciones de escenas en términos de edición PSNR, similitud direccional texto-imagen CLIP (CTDS) y consistencia direccional CLIP (CDS).

? Reconocimiento

Este trabajo se basa en muchos trabajos de investigación increíbles y proyectos de código abierto. ¡Muchas gracias a todos los autores por compartir!

• InstruirPix2Pix
• Instruir-NeRF2NeRF
• Difusores

✏️ Cita

Si encuentra que nuestro artículo y nuestro código son útiles en su investigación, considere otorgar una estrella y una cita.

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}