rgb d fusion

? RGB-D-Fusion: обусловленная изображением глубинная диффузия гуманоидных объектов

Авторы:
Саша Кирх, Валерия Олюнина, Ян Ондржей, Рафаэль Пагес, Серхио Мартин и Клара Перес-Молина

[ Paper ] [ BibTex ]

Реализация TensorFlow для RGB-D-Fusion. Подробности см. в статье RGB-D-Fusion: обусловленная изображением глубинная диффузия гуманоидных объектов .

Вклад

• Мы предоставляем основу для оценки глубины плотного монокуляра с высоким разрешением с использованием диффузионных моделей .
• Мы выполняем сверхразрешение для данных с плотной глубиной , обусловленных мультимодальным входным условием RGB-D, с использованием моделей диффузии.
• Мы представляем новый метод увеличения , а именно глубинный шум, для повышения надежности модели глубинного сверхразрешения.
• Мы проводим строгие абляции и эксперименты для проверки нашего выбора дизайна.

Новости

• 2023/10/14 : Код доступен уже сейчас!
• 2023/09/04 : Наша статья теперь опубликована в IEEE Access!
• 2023/07/29 : Мы публикуем препринт на arxiv.

Рамки

?️ Результаты

Прогноз против GT

В диких предсказаниях

Установка

Мы рекомендуем использовать среду докера. Мы предоставляем файл докеров от TensorFlow и файл докеров от nvidia. Последний больше, но включает в себя оптимизацию производительности nvidia. Убедитесь, что установлен докер, включая расширение графического процессора nvidia.

1. Создайте образ

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

2. Создайте контейнер

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

3. Запустить контейнер

docker start rgb-d-fusion

Иерархия каталогов должна выглядеть следующим образом

 |- tf
   |- manual_datasets
      |- <DATASET 1> 
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |- <DATASET 2>                   # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

Иерархия может быть создана в одном месте или в разных каталогах. При запуске docker-контейнера разные каталоги можно монтировать вместе.

Запуск сценариев обучения, оценки и/или вывода

Скрипты находятся под скриптами. На данный момент существует два типа моделей:

1. Модель диффузии глубины — модель диффузии, которая генерирует карту глубины на основе изображения RGB.
2. Модель диффузии сверхразрешения — модель диффузии, которая генерирует RGB-D высокого разрешения из RGB-D низкого разрешения.

Каждая модель имеет свои сценарии обучения, оценки и вывода, написанные на Python. Вы можете проверить функциональность и параметры с помощью python <SCRIPT> -h .

✒️ Цитирование

Если наша работа окажется полезной для вашего исследования, пожалуйста, процитируйте следующую запись BibTeX.

 @article { kirch_rgb-d-fusion_2023 ,
 title = { RGB-D-Fusion: Image Conditioned Depth Diffusion of Humanoid Subjects } ,
 author = { Kirch, Sascha and Olyunina, Valeria and Ondřej, Jan and Pagés, Rafael and Martín, Sergio and Pérez-Molina, Clara } ,
 journal = { IEEE Access } ,
 year = { 2023 } ,
 volume = { 11 } ,
 issn = { 2169-3536 } ,
 doi = { 10.1109/ACCESS.2023.3312017 } ,
 pages = { 99111--99129 } ,
 url = { https://ieeexplore.ieee.org/document/10239167 } ,
}