Бесплатный редактор

Другой исходный код

1.0.0

Скачать

Это репо находится в стадии разработки! Спасибо за терпение. Должно быть завершено к 30 ноября 2024 г.

Бесплатный редактор: редактирование 3D-сцен на основе текста с нулевым кадром

Если вам нравится наш проект, поставьте нам звездочку на GitHub, чтобы получать последние обновления.

Страница проекта | Бумага

? Основные моменты

Free-Editor позволяет редактировать 3D-сцены, редактируя только один вид этой сцены. Редактирование не требует обучения и может быть выполнено за 3 минуты! вместо 70 минут! в СОТА.

Не требует обучения, стабильный просмотр, высокое качество и высокая скорость

Стабильная диффузия (SD) для генерации изображений --> высокое качество
Редактирование в одном представлении —> более высокая вероятность редактирования с согласованным видом, поскольку с помощью SD трудно получить согласованные эффекты редактирования в нескольких представлениях.
Процесс редактирования не требует обучения, поскольку мы используем обобщенную модель NeRF -> быструю высококачественную реконструкцию 3D-контента.

Обновления

Добро пожаловать на просмотр ? этот репозиторий для получения последних обновлений.

✅ [2023.12.21] : Мы выпустили нашу статью Free-Editor на arXiv.

✅ [2023.12.18] : Релиз страницы проекта.

Выпуск кода.

Методология

Обзор предлагаемого нами метода. Мы обучаем обобщенный NeRF (G(.)), который использует одно отредактированное начальное представление и M исходных представлений для визуализации нового целевого представления. Здесь «Отредактированное целевое представление» не является входными данными для модели, а скорее визуализируется и работает как основная истина для прогнозирования G (.). В G(.) мы используем специальный преобразователь редактирования, который использует: перекрестное внимание для создания исходных карт объектов с учетом стиля, которые будут агрегированы с помощью эпиполярного преобразователя. При выводе мы можем синтезировать новые отредактированные представления с нуля. Чтобы отредактировать сцену, мы берем только одно изображение в качестве начального вида и редактируем его, используя модель диффузии «текст-изображение» (T2I). На основе этого начального представления мы можем визуализировать новые отредактированные целевые представления.

Выполнение

Создать среду

Сделайте следующее:

      conda create --name nerfstudio -y python=3.9
      conda activate nerfstudio
      python -m pip install --upgrade pip

Установить зависимости

Если у вас уже установлена установка, сначала обязательно удалите ее с помощью этой команды:

      pip uninstall torch torchvision functorch tinycudann

Затем установите CUDA 11.8 с помощью этой команды:

      conda install -c " nvidia/label/cuda-11.8.0 " cuda-toolkit

Затем установите Pytorch 2.1.2 с помощью этой команды:

      pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

После pytorch и ninja установите привязки факела для tiny-cuda-nn:

      pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/ # subdirectory=bindings/torch

Установка NerfStudio: Иногда вы можете столкнуться с проблемами с configobj или другими пакетами, установите их вручную из исходного кода. Например,

      git clone https://github.com/DiffSK/configobj.git
      cd configobj
      python setup.py install

Из pip (в кластере не работает):

      pip install nerfstudio

Если вы хотите выполнить сборку из исходного кода и получить последнюю версию разработки, используйте эту команду:

      git clone https://github.com/nerfstudio-project/nerfstudio.git
      cd nerfstudio
      pip install --upgrade pip setuptools
      pip install -e .

Загрузите некоторые тестовые данные:

      ns-download-data nerfstudio --capture-name=poster

Модель поезда

      ns-train nerfacto --data data/nerfstudio/poster

 If you start seeing on your linux terminal that it started training, then it means everything is good to go!

Возможно, вам также придется установить дополнительные зависимости.

Загрузите наборы данных и предварительно обученные модели

Чтобы загрузить другие наборы данных, перейдите по этой ссылке — https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/tree/main.

Здесь «synthetic_scenes.zip» — это данные дипвокселей.
«nerf_synthetic» и набор данных блендера, возможно, один и тот же набор данных.
«frames.zip» — это извлеченные кадры для 200 сцен набора данных RealEstate10K. «train.zip» — это файлы камеры.
Для Shiny Dataset перейдите по адресу https://nex-mpi.github.io/.
Для набора данных пространств:

      git clone https://github.com/augmentedperception/spaces_dataset

Если вы хотите использовать «nerfbaselines»,

      conda deactivate 
      conda create --name nerfbase 
      conda activate nerfbase
      pip install nerfbaselines

Загрузите образцы наборов данных. Например,
Загружает сцену сада в папку кэша.

      mdkir data
      cd data
      mkdir nerf_dataset
      cd nerf_dataset

      nerfbaselines download-dataset external://mipnerf360/garden

Загружает все сцены nerfstudio в кэш.

      nerfbaselines download-dataset external://nerfstudio

Загружает сцену кухни в папку Kitchen.

      nerfbaselines download-dataset external://mipnerf360/kitchen -o kitchen

Модель создания подписей.

      git clone https://huggingface.co/Salesforce/blip2-opt-2.7b

Если вы хотите использовать уменьшенную версию, используйте эту

      from transformers import BlipProcessor, BlipForConditionalGeneration
      
      processor = BlipProcessor.from_pretrained( " Salesforce/blip-image-captioning-base " )
      model = BlipForConditionalGeneration.from_pretrained( " Salesforce/blip-image-captioning-base " )

Стабильная диффузия 3, средняя (быстрая и точная). Однако он пока не поддерживает редактирование текста в изображении. Итак, мы используем версию 1.5, которую можно загрузить автоматически (см. следующий шаг).

      git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium

Если вы не хотите загружать предварительно обученную модель, сгенерируйте токен доступа в обнимающемся лице (перейдите в настройки своей учетной записи) и войдите в свою учетную запись.

      huggingface-cli login

Генерация набора данных в бесплатном редакторе

      python src/fedit/dataset_creation.py

Бесплатное обучение редакторов

      python train.py

Результаты 3D-редактирования

Качественное сравнение

Количественное сравнение

Количественная оценка редактирования сцен с точки зрения Edit PSNR, сходства направления текста и изображения CLIP (CTDS) и согласованности направлений CLIP (CDS).

? Благодарность

Эта работа основана на множестве замечательных исследовательских работ и проектов с открытым исходным кодом, большое спасибо всем авторам за то, что поделились!

ИнструктПикс2Пикс
Инструкция-NeRF2NeRF
Диффузоры

✏️ Цитирование

Если вы найдете нашу статью и код полезными для вашего исследования, поставьте звездочку и укажите ссылку .

 @misc { karim2023freeeditor ,
      title = { Free-Editor: Zero-shot Text-driven 3D Scene Editing } , 
      author = { Nazmul Karim and Umar Khalid and Hasan Iqbal and Jing Hua and Chen Chen } ,
      year = { 2023 } ,
      eprint = { 2312.13663 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}