免费编辑器

其他源码

1.0.0

下载

该回购正在建设中！感谢您的耐心等待。应于 2024 年 11 月 30 日之前完成

自由编辑器：零镜头文本驱动的 3D 场景编辑

如果您喜欢我们的项目，请在 GitHub 上给我们一个 star 以获取最新更新。

项目页面|纸

？亮点

Free-Editor 允许您通过仅编辑场景的单个视图来编辑 3D 场景。编辑无需培训，只需3 分钟即可完成！而不是70 分钟！在索塔。

免培训、视图一致、高质量、速度快

用于图像生成的稳定扩散 (SD) --> 高质量
单视图编辑 --> 视图一致编辑的机会更高，因为标清很难在多个视图中获得一致的编辑效果
编辑过程无需培训，因为我们使用通用 NeRF 模型 --> 快速高质量 3D 内容重建。

更新

欢迎观看？此存储库提供最新更新。

✅ [2023.12.21] : 我们在 arXiv 上发布了我们的论文 Free-Editor。

✅ [2023.12.18] : 发布项目页面。

代码发布。

方法论

我们提出的方法的概述。我们训练一个广义 NeRF (G(.))，它采用单个编辑的起始视图和 M 个源视图来渲染新颖的目标视图。在这里，“编辑的目标视图”不是模型的输入，而是将被渲染并作为 G(.) 预测的基本事实。在 G(.) 中，我们采用了一个特殊的编辑变压器，它利用：交叉注意力来生成风格知情的源特征图，这些特征图将通过极线变压器聚合。在推理时，我们可以以零样本的方式合成新颖的编辑视图。为了编辑场景，我们仅将单个图像作为起始视图，并使用文本到图像 (T2I) 扩散模型对其进行编辑。基于这个起始视图，我们可以渲染新颖的编辑目标视图。

执行

创造环境

执行以下操作-

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

安装依赖项

如果您已有安装，请首先确保使用以下命令进行卸载：

      pip uninstall torch torchvision functorch tinycudann

然后使用以下命令安装 CUDA 11.8：

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

然后使用以下命令安装 Pytorch 2.1.2：

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

在 pytorch 和 ninja 之后，安装 tiny-cuda-nn 的 torch 绑定：

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

安装 NerfStudio：有时，您可能会遇到 configobj 或其他软件包的问题，请从源代码手动安装它们。例如，

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

来自 pip （它不适用于集群）：

      pip install nerfstudio

如果您想从源代码构建并想要最新的开发版本，请使用以下命令：

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

下载一些测试数据：

      ns-download-data nerfstudio --capture-name=poster

火车模型

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

您可能还必须安装其他依赖项。

下载数据集和预训练模型

要下载其他数据集，请访问此链接 - https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

这里，“synthetic_scenes.zip”是 Deepvoxels 数据。
“nerf_synthetic”和搅拌机数据集可能是相同的数据集。
“frames.zip”是 RealEstate10K 数据集的 200 个场景的提取帧。 “train.zip”是相机文件。
对于闪亮数据集，请访问 - https://nex-mpi.github.io/
对于空间数据集，

      git clone https://github.com/augmentedperception/spaces_dataset

如果你想使用“nerfbaselines”，

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

下载示例数据集。例如，
将花园场景下载到缓存文件夹。

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

将所有 nerfstudio 场景下载到缓存

      nerfbaselines download-dataset external://nerfstudio

将厨房场景下载到厨房文件夹

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

字幕生成模型。

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

如果您想使用较小的版本，请使用此

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

稳定扩散 3 中等（快速且准确）。但是，它还不支持文本到图像编辑。因此，我们使用可以自动下载的 v1.5（参见下一步）。

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

如果您不想下载预训练模型，请在拥抱中生成访问令牌（转到您的帐户设置）并登录您的帐户

      huggingface-cli login

免费编辑器数据集生成

      python src/fedit/dataset_creation.py

免费编辑培训

      python train.py

3D 编辑结果

定性比较

定量比较

根据编辑 PSNR、CLIP 文本图像方向相似性 (CTDS) 和 CLIP 方向一致性 (CDS) 来定量评估场景编辑。

？致谢

这项工作建立在许多令人惊叹的研究工作和开源项目的基础上，非常感谢所有作者的分享！

指导Pix2Pix
指令-NeRF2NeRF
扩散器

✏️引用

如果您发现我们的论文和代码对您的研究有用，请考虑给予星星和引用。

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}