무료 편집기

기타 소스코드

1.0.0

다운로드

이 저장소는 건설 중입니다! 기다려주셔서 감사합니다. 2024년 11월 30일까지 완료되어야 합니다.

무료 편집기: 제로샷 텍스트 기반 3D 장면 편집

우리 프로젝트가 마음에 드셨다면 최신 업데이트를 위해 GitHub에서 별표를 남겨주세요.

프로젝트 페이지 | 종이

? 하이라이트

Free-Editor를 사용하면 해당 장면의 단일 보기만 편집 하여 3D 장면을 편집할 수 있습니다. 편집은 교육이 필요 없으며 3분 안에 완료할 수 있습니다! 70분 대신! 소타에서.

교육이 필요 없고 일관성 있는 뷰, 고품질 및 빠른 속도

영상 생성을 위한 SD(Stable Diffusion) --> 고품질
단일 보기 편집 --> SD를 사용하면 다중 보기에서 일관된 편집 효과를 얻기 어렵기 때문에 보기 일치 편집 가능성이 더 높습니다.
일반화된 NeRF 모델 --> 빠른 고품질 3D 콘텐츠 재구성을 사용하므로 편집 프로세스에는 교육이 필요하지 않습니다.

업데이트

시청 에 오신 것을 환영합니다. 최신 업데이트를 보려면 이 저장소를 방문하세요.

✅ [2023.12.21] : 저희의 논문 Free-Editor가 arXiv에 공개되었습니다.

✅ [2023.12.18] : 프로젝트 공개 페이지입니다.

코드 릴리스.

방법론

제안된 방법의 개요. 우리는 단일 편집된 시작 뷰와 M 소스 뷰를 사용하여 새로운 목표 뷰를 렌더링하는 일반화된 NeRF(G(.))를 훈련합니다. 여기서 "Edited Target View"는 모델에 대한 입력이 아니라 렌더링되어 G(.) 예측을 위한 기준 진실로 작동합니다. G(.)에서는 다음을 활용하는 특수 편집 변환기를 사용합니다. 교차 주의를 사용하여 에피폴라 변환기를 통해 집계될 스타일 정보 소스 기능 맵을 생성합니다. 추론을 통해 우리는 제로샷 방식으로 새로운 편집된 뷰를 합성할 수 있습니다. 장면을 편집하려면 단일 이미지만 시작 보기로 사용하고 T2I(Text-to-Image) 확산 모델을 사용하여 편집합니다. 이 시작 뷰를 기반으로 새로운 편집된 타겟 뷰를 렌더링할 수 있습니다.

구현

환경 만들기

다음을 수행하십시오 -

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

종속성 설치

기존 설치가 있는 경우 먼저 다음 명령을 사용하여 제거해야 합니다.

      pip uninstall torch torchvision functorch tinycudann

그런 다음 다음 명령을 사용하여 CUDA 11.8을 설치하십시오.

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

그런 다음 다음 명령을 사용하여 Pytorch 2.1.2를 설치하십시오.

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

pytorch와 ninja 이후에tiny-cuda-nn에 대한 토치 바인딩을 설치합니다.

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

NerfStudio 설치: 때때로 configobj 또는 기타 패키지에 문제가 발생할 수 있으므로 소스에서 수동으로 설치하십시오. 예를 들어,

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

pip에서(클러스터에서는 작동하지 않음):

      pip install nerfstudio

소스에서 빌드하고 최신 개발 버전을 원한다면 다음 명령을 사용하세요.

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

일부 테스트 데이터를 다운로드하세요.

      ns-download-data nerfstudio --capture-name=poster

기차 모델

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

설치해야 할 추가 종속성이 있을 수도 있습니다.

데이터 세트 및 사전 훈련된 모델 다운로드

다른 데이터세트를 다운로드하려면 이 링크를 방문하세요 - https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

여기서 "synthetic_scenes.zip"은 deepvoxels 데이터입니다.
"nerf_synthetic" 및 블렌더 데이터세트는 동일한 데이터세트일 수 있습니다.
"frames.zip"은 RealEstate10K 데이터세트의 200개 장면에 대해 추출된 프레임입니다. "train.zip"은 카메라 파일입니다.
Shiny Dataset의 경우 - https://nex-mpi.github.io/로 이동하세요.
공간 데이터세트의 경우,

      git clone https://github.com/augmentedperception/spaces_dataset

"nerfbaselines"을 사용하려면,

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

샘플 데이터세트를 다운로드하세요. 예를 들어,
정원 장면을 캐시 폴더에 다운로드합니다.

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

모든 nerfstudio 장면을 캐시에 다운로드합니다.

      nerfbaselines download-dataset external://nerfstudio

키친 장면을 폴더 키친으로 다운로드

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

캡션 생성 모델.

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

더 작은 버전을 사용하려면 다음을 사용하세요.

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

안정 확산 3 매체(빠르고 정확함). 그러나 아직 텍스트-이미지 편집을 지원하지 않습니다. 그래서 우리는 자동으로 다운로드할 수 있는 v1.5를 사용합니다(다음 단계 참조).

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

사전 학습된 모델을 다운로드하지 않으려면 포옹 얼굴에서 액세스 토큰을 생성하고(계정 설정으로 이동) 계정에 로그인하세요.

      huggingface-cli login

무료 편집기 데이터세트 생성

      python src/fedit/dataset_creation.py

무료 편집자 교육

      python train.py

3D 편집 결과

정성적 비교

정량적 비교

PSNR 편집, CLIP 텍스트-이미지 방향 유사성(CTDS) 및 CLIP 방향 일관성(CDS) 측면에서 장면 편집의 정량적 평가.

? 승인

이 작업은 많은 놀라운 연구 작업과 오픈 소스 프로젝트를 기반으로 제작되었습니다. 공유해 주신 모든 저자들에게 진심으로 감사드립니다!

지시Pix2Pix
지시-NeRF2NeRF
디퓨저

✏️ 인용

귀하의 연구에 우리의 논문과 코드가 유용하다고 생각하시면 별표와 인용을 고려해 보십시오.

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}