? RGB-D-Fusion: обусловленная изображением глубинная диффузия гуманоидных объектов

Авторы:
Саша Кирх, Валерия Олюнина, Ян Ондржей, Рафаэль Пагес, Серхио Мартин и Клара Перес-Молина

[ Paper ] [ BibTex ]

Реализация TensorFlow для RGB-D-Fusion. Подробности см. в статье RGB-D-Fusion: обусловленная изображением глубинная диффузия гуманоидных объектов .

Вклад

Мы предоставляем основу для оценки глубины плотного монокуляра с высоким разрешением с использованием диффузионных моделей .
Мы выполняем суперразрешение для данных с высокой плотностью глубины , обусловленных мультимодальным входным условием RGB-D, с использованием моделей диффузии.
Мы представляем новый метод увеличения , а именно глубинный шум, для повышения надежности модели глубинного сверхразрешения.
Мы проводим строгие абляции и эксперименты для проверки нашего выбора дизайна.

Новости

2023/10/14 : Код доступен уже сейчас!
2023/09/04 : Наша статья теперь опубликована в IEEE Access!
2023/07/29 : Мы публикуем препринт на arxiv.

Рамки

каркас RGB-D-Fusion

?️ Результаты

Прогноз против GT

результаты_gt

В диких предсказаниях

Установка

Мы рекомендуем использовать среду докера. Мы предоставляем файл докеров от TensorFlow и файл докеров от nvidia. Последний больше, но включает в себя оптимизацию производительности NVIDIA. Убедитесь, что установлен докер, включая расширение графического процессора nvidia.

Создайте образ

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

Создайте контейнер

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

Запустить контейнер

docker start rgb-d-fusion

Иерархия каталогов должна выглядеть следующим образом

 |- tf
   |- manual_datasets
      |-  
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |-                    # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

Иерархия может быть создана в одном месте или в разных каталогах. При запуске Docker-контейнера разные каталоги могут быть смонтированы вместе.

Запуск сценариев обучения, оценки и/или вывода

Скрипты находятся под скриптами. На данный момент существует два типа моделей:

Модель диффузии глубины — модель диффузии, которая генерирует карту глубины на основе изображения RGB.
Модель диффузии сверхразрешения — модель диффузии, которая генерирует RGB-D высокого разрешения из RGB-D низкого разрешения.

Каждая модель имеет свои сценарии обучения, оценки и вывода, написанные на Python. Вы можете проверить функциональность и параметры с помощью python

RGB-D-фьюжн