免費編輯器

其他源碼

1.0.0

下載

該回購正在建設中！感謝您的耐心等待。應於 2024 年 11 月 30 日前完成

自由編輯器：零鏡頭文字驅動的 3D 場景編輯

如果您喜歡我們的項目，請在 GitHub 上給我們一個 star 以獲取最新更新。

項目頁面|紙

？亮點

Free-Editor 可讓您透過僅編輯場景的單一視圖來編輯 3D 場景。編輯無需培訓，只需3 分鐘即可完成！而不是70 分鐘！在索塔。

免培訓、視圖一致、高品質、速度快

用於影像生成的穩定擴散 (SD) --> 高品質
單視圖編輯 --> 視圖一致編輯的機會較高，因為標清很難在多個視圖中獲得一致的編輯效果
編輯過程無需培訓，因為我們使用通用 NeRF 模型 --> 快速高品質 3D 內容重建。

更新

歡迎觀看？此存儲庫提供最新更新。

✅ [2023.12.21] : 我們在 arXiv 上發布了我們的論文 Free-Editor。

✅ [2023.12.18] : 發布專案頁。

代碼發布。

方法論

我們提出的方法的概述。我們訓練一個廣義 NeRF (G(.))，它採用單一編輯的起始視圖和 M 個來源視圖來渲染新穎的目標視圖。在這裡，「編輯的目標視圖」不是模型的輸入，而是將被渲染並作為 G(.) 預測的基本事實。在 G(.) 中，我們採用了一個特殊的編輯變壓器，它利用：交叉注意力來產生風格知情的來源特徵圖，這些特徵圖將透過極線變壓器聚合。在推理時，我們可以以零樣本的方式合成新穎的編輯視圖。為了編輯場景，我們僅將單一圖像作為起始視圖，並使用文字到圖像 (T2I) 擴散模型對其進行編輯。基於這個起始視圖，我們可以渲染出新穎的編輯目標視圖。

執行

創造環境

執行以下操作-

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

安裝依賴項

如果您已有安裝，請先確保使用以下命令進行解除安裝：

      pip uninstall torch torchvision functorch tinycudann

然後使用以下命令安裝 CUDA 11.8：

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

然後使用以下命令安裝 Pytorch 2.1.2：

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

在 pytorch 和 ninja 之後，安裝 tiny-cuda-nn 的 torch 綁定：

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

安裝 NerfStudio：有時，您可能會遇到 configobj 或其他軟體包的問題，請從原始程式碼手動安裝它們。例如，

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

來自 pip （它不適用於叢集）：

      pip install nerfstudio

如果您想從原始程式碼建置並想要最新的開發版本，請使用以下命令：

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

下載一些測試資料：

      ns-download-data nerfstudio --capture-name=poster

火車模型

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

您可能還必須安裝其他依賴項。

下載資料集和預訓練模型

要下載其他資料集，請訪問此連結 - https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

這裡，「synthetic_scenes.zip」是 Deepvoxels 資料。
「nerf_synthetic」和攪拌機資料集可能是相同的資料集。
「frames.zip」是 RealEstate10K 資料集的 200 個場景的擷取畫面。 “train.zip”是相機檔。
對於閃亮資料集，請造訪 - https://nex-mpi.github.io/
對於空間資料集，

      git clone https://github.com/augmentedperception/spaces_dataset

如果你想使用“nerfbaselines”，

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

下載範例資料集。例如，
將花園場景下載到快取資料夾。

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

將所有 nerfstudio 場景下載到快取

      nerfbaselines download-dataset external://nerfstudio

將廚房場景下載到廚房資料夾

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

字幕生成模型。

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

如果您想使用較小的版本，請使用此

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

穩定擴散 3 中等（快速且準確）。但是，它也不支援文字到圖像編輯。因此，我們使用可以自動下載的 v1.5（請參閱下一步）。

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

如果您不想下載預訓練模型，請在擁抱中產生存取權杖（前往您的帳戶設定）並登入您的帳戶

      huggingface-cli login

免費編輯器資料集生成

      python src/fedit/dataset_creation.py

免費編輯培訓

      python train.py

3D 編輯結果

定性比較

定量比較

根據編輯 PSNR、CLIP 文字影像方向相似性 (CTDS) 和 CLIP 方向一致性 (CDS) 來定量評估場景編輯。

？致謝

這項工作建立在許多令人驚嘆的研究工作和開源專案的基礎上，非常感謝所有作者的分享！

指導Pix2Pix
指令-NeRF2NeRF
擴散器

✏️引用

如果您發現我們的論文和程式碼對您的研究有用，請考慮給予星星和引用。

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}