無料のエディター

このリポジトリは現在作成中です。ご辛抱いただきありがとうございます。 2024 年 11 月 30 日までに完了する必要があります

無料エディター: ゼロショット テキスト駆動の 3D シーン編集

私たちのプロジェクトが気に入っていただけましたら、GitHub でスターを付けて最新のアップデートを入手してください。

プロジェクトページ |紙

?ハイライト

Free-Editor を使用すると、3D シーンの1 つのビューのみを編集して、3D シーンを編集できます。編集はトレーニング不要で、わずか3 分で完了します。 70分の代わりに！ SOTAで。

トレーニング不要、一貫した表示、高品質、高速

• 画像生成のための安定拡散 (SD) --> 高品質
• シングルビュー編集 --> SD では複数ビューで一貫した編集効果を得ることが難しいため、ビュー一貫性のある編集が行われる可能性が高くなります。
• 一般化された NeRF モデルを使用しているため、編集プロセスはトレーニング不要です --> 高速で高品質の 3D コンテンツ再構築が可能です。

アップデート

ようこそご覧ください?最新のアップデートについてはこのリポジトリを参照してください。

✅ [2023.12.21] : arXiv で論文 Free-Editor を公開しました。

✅ [2023.12.18] : プロジェクトページを公開しました。

• コードリリース。

方法論

提案手法の概要。単一の編集された開始ビューと M 個のソース ビューを受け取り、新しいターゲット ビューをレンダリングする一般化された NeRF (G(.)) をトレーニングします。ここで、「編集されたターゲット ビュー」はモデルへの入力ではなく、レンダリングされ、G(.) の予測のグランド トゥルースとして機能します。 G(.) では、次のことを利用する特別な編集トランスフォーマーを採用しています。 クロスアテンションを使用して、エピポーラ トランスフォーマーを通じて集約されるスタイル情報付きのソース特徴マップを生成します。推論では、ゼロショット方式で新しい編集ビューを合成できます。シーンを編集するには、開始ビューとして 1 つの画像のみを取得し、Text-to-Image (T2I) 拡散モデルを使用して編集します。この開始ビューに基づいて、新しい編集済みターゲット ビューをレンダリングできます。

実装

環境を作成する

次のことを行ってください-

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

依存関係をインストールする

• 既存のインストールがある場合は、まず次のコマンドを使用して必ずアンインストールしてください。

      pip uninstall torch torchvision functorch tinycudann

• 次に、次のコマンドを使用して CUDA 11.8 をインストールします。

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

• 次に、次のコマンドを使用して Pytorch 2.1.2 をインストールします。

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

• pytorch と ninja の後に、tiny-cuda-nn のトーチ バインディングをインストールします。

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

• NerfStudio のインストール: configobj またはその他のパッケージで問題が発生する場合があります。ソースから手動でインストールしてください。例えば、

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

• pip から (クラスターでは機能しません):

      pip install nerfstudio

• ソースからビルドし、最新の開発バージョンが必要な場合は、次のコマンドを使用します。

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

• いくつかのテスト データをダウンロードします。

      ns-download-data nerfstudio --capture-name=poster           

• 鉄道模型

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

場合によっては、追加の依存関係もインストールする必要があります。

データセットと事前トレーニングされたモデルをダウンロードする

他のデータセットをダウンロードするには、このリンクにアクセスしてください - https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main

• ここで、「synthetic_scenes.zip」はディープボクセルデータです。

• 「nerf_synthetic」と Blender データセットはおそらく同じデータセットです。

• 「frames.zip」は、RealEstate10K データセットの 200 シーンから抽出されたフレームです。 「train.zip」はカメラファイルです。

• Shiny Dataset については、https://nex-mpi.github.io/ にアクセスしてください。

• スペース データセットの場合、

      git clone https://github.com/augmentedperception/spaces_dataset

• 「nerfbaselines」を使用したい場合は、

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

• サンプル データセットをダウンロードします。例えば、

• ガーデン シーンをキャッシュ フォルダーにダウンロードします。

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

• すべての nerfstudio シーンをキャッシュにダウンロードします

      nerfbaselines download-dataset external://nerfstudio

• kithen シーンをキッチン フォルダーにダウンロードします

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

• キャプション生成モデル。

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

小さいバージョンを使用したい場合は、これを使用してください

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

• 安定拡散 3 中 (高速かつ正確)。ただし、テキストから画像への編集はまだサポートされていません。したがって、自動的にダウンロードできる v1.5 を使用します (次のステップを参照)。

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

• 事前トレーニング済みモデルをダウンロードしたくない場合は、顔を抱きしめながらアクセス トークンを生成し (アカウント設定に移動)、アカウントにログインします。

      huggingface-cli login

無料のエディターによるデータセットの生成

      python src/fedit/dataset_creation.py 

無料の編集者トレーニング

      python train.py 

3D編集結果

定性的比較

定量的な比較

編集 PSNR、CLIP テキストと画像の方向類似性 (CTDS)、および CLIP 方向一貫性 (CDS) の観点からシーン編集を定量的に評価します。

?了承

この作品は多くの素晴らしい研究成果とオープンソース プロジェクトに基づいて構築されています。共有してくれたすべての著者に感謝します。

• InstructPix2Pix
• 指示-NeRF2NeRF
• ディフューザー

✏️引用

私たちの論文とコードが研究に役立つと思われる場合は、スターと引用を与えることを検討してください。

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}