Editor Gratuito

Este repositório está em construção! Obrigado pela paciência. Deve ser concluído até 30 de novembro de 2024

Editor gratuito: edição de cena 3D baseada em texto de disparo zero

Se você gosta do nosso projeto, dê-nos uma estrela no GitHub para obter a atualização mais recente.

Página do projeto | Papel

? Destaques

O Free-Editor permite que você edite suas cenas 3D editando apenas uma única visualização dessa cena. A edição não requer treinamento e pode ser feita em questão de 3 minutos! em vez de 70 minutos! em SOTA.

Sem treinamento, visualização consistente, alta qualidade e velocidade rápida

• Difusão Estável (SD) para geração de imagens -> alta qualidade
• Edição de visualização única -> maior chance de edição com visualização consistente, pois é difícil obter efeitos de edição consistentes em visualizações múltiplas com SD
• O processo de edição não requer treinamento, pois usamos um modelo NeRF generalizado -> reconstrução rápida de conteúdo 3D de alta qualidade.

Atualizações

Bem-vindo a assistir ? este repositório para as atualizações mais recentes.

✅ [2023.12.21] : Lançamos nosso artigo, Free-Editor no arXiv.

✅ [2023.12.18] : Liberação da página do projeto.

• Liberação de código.

Metodologia

Visão geral do nosso método proposto. Treinamos um NeRF generalizado (G(.)) que usa uma única visualização inicial editada e M visualizações de origem para renderizar uma nova visualização de destino. Aqui, “Visualização do alvo editado” não é a entrada para o modelo, mas será renderizada e funciona como a verdade básica para a previsão de G(.). Em G(.) empregamos um Edit Transformer especial que utiliza: atenção cruzada para produzir mapas de recursos de origem informados por estilo que serão agregados por meio de um Transformador Epipolar. Na inferência, podemos sintetizar novas visualizações editadas de maneira zero-shot. Para editar uma cena, pegamos apenas uma única imagem como visualização inicial e a editamos usando um modelo de difusão Texto para Imagem (T2I). Com base nesta visualização inicial, podemos renderizar novas visualizações de destino editadas.

Implementação

Criar ambiente

Faça o seguinte-

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

Instalar dependências

• Se você já tiver uma instalação, primeiro certifique-se de desinstalar usando este comando:

      pip uninstall torch torchvision functorch tinycudann

• Em seguida, instale o CUDA 11.8 com este comando:

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

• Em seguida, instale o Pytorch 2.1.2 usando este comando:

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

• Após pytorch e ninja, instale as ligações da tocha para tiny-cuda-nn:

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

• Instalando o NerfStudio: Às vezes, você pode enfrentar problemas com o configobj ou outros pacotes, instale-os manualmente a partir do código-fonte. Por exemplo,

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

• Do pip (não funciona em cluster):

      pip install nerfstudio

• Se você deseja construir a partir do código-fonte e deseja a versão de desenvolvimento mais recente, use este comando:

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

• Baixe alguns dados de teste:

      ns-download-data nerfstudio --capture-name=poster           

• Modelo de trem

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

Talvez haja dependências adicionais que você também precise instalar.

Baixe conjuntos de dados e modelos pré-treinados

Para baixar outros conjuntos de dados, visite este link - https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

• Aqui, "synthetic_scenes.zip" são os dados dos deepvoxels.

• "nerf_synthetic" e conjunto de dados do liquidificador possivelmente o mesmo conjunto de dados.

• "frames.zip" são os quadros extraídos para 200 cenas do conjunto de dados RealEstate10K. "train.zip" são os arquivos da câmera.

• Para o conjunto de dados Shiny, acesse - https://nex-mpi.github.io/

• Para conjunto de dados do Spaces,

      git clone https://github.com/augmentedperception/spaces_dataset

• Se você quiser usar "nerfbaselines",

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

• Baixe conjuntos de dados de amostra. Por exemplo,

• Baixa a cena do jardim para a pasta cache.

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

• Baixa todas as cenas do nerfstudio para o cache

      nerfbaselines download-dataset external://nerfstudio

• Baixa a cena kithen para a pasta cozinha

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

• Modelo de geração de legenda.

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

Se você quiser usar uma versão menor, use esta

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

• Difusão Estável 3 Médio (Rápido e Preciso). No entanto, ainda não oferece suporte à edição de texto para imagem. Portanto, usamos a v1.5 que pode ser baixada automaticamente (veja o próximo passo).

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

• Se você não quiser baixar o modelo pré-treinado, gere um token de acesso no rosto do abraço (vá para as configurações da sua conta) e faça login na sua conta

      huggingface-cli login

Geração de conjunto de dados com editor gratuito

      python src/fedit/dataset_creation.py 

Treinamento de editor gratuito

      python train.py 

Resultados de edição 3D

Comparação qualitativa

Comparação quantitativa

Avaliação quantitativa de edições de cena em termos de Edit PSNR, CLIP Text-Image Direcional Similaridade (CTDS) e CLIP direcional consistência (CDS).

? Reconhecimento

Este trabalho é baseado em muitos trabalhos de pesquisa incríveis e projetos de código aberto, muito obrigado a todos os autores por compartilhar!

• InstructPix2Pix
• Instruir-NeRF2NeRF
• Difusores

✏️ Citação

Se você achar nosso artigo e código úteis em sua pesquisa, considere dar uma estrela e uma citação.

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}