rgb d fusion

? RGB-D-Fusion: 인간형 대상의 이미지 조건에 따른 깊이 확산

저자:
사샤 키르히(Sascha Kirch), 발레리아 올류니나(Valeria Olyunina), 얀 온드르제이(Jan Ondřej), 라파엘 파제스(Rafael Pagés), 세르히오 마르틴(Sergio Martín), 클라라 페레즈-몰리나(Clara Pérez-Molina)

[ Paper ] [ BibTex ]

RGB-D-Fusion을 위한 TensorFlow 구현. 자세한 내용은 RGB-D-Fusion: Image Conditioned Depth Diffusion of Humanoid Subjects 논문을 참조하십시오.

기부금

• 우리는 확산 모델을 사용하여 고해상도 밀도 단안 깊이 추정을 위한 프레임워크를 제공합니다.
• 확산 모델을 사용하여 다중 모드 RGB-D 입력 조건에 따라 조밀한 깊이 데이터에 대한 초해상도를 수행합니다.
• 깊이 초해상도 모델의 견고성을 향상시키기 위해 새로운 증강 기술 , 즉 깊이 노이즈를 도입합니다.
• 우리는 디자인 선택을 검증하기 위해 엄격한 절제와 실험을 수행합니다.

소식

• 2023/10/14 : 이제 코드를 사용할 수 있습니다!
• 2023/09/04 : 우리 논문이 IEEE Access에 게재되었습니다!
• 2023/07/29 : arxiv에 사전 인쇄를 공개합니다.

뼈대

?️ 결과

예측과 GT

거친 예측에서

설치

Docker 환경을 사용하는 것이 좋습니다. TensorFlow의 도커 파일과 nvidia의 도커 파일을 제공합니다. 후자는 더 크지만 NVIDIA의 성능 최적화를 포함합니다. NVIDIA의 GPU 확장을 포함하여 Docker가 설치되어 있는지 확인하세요.

1. 이미지 빌드

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

2. 컨테이너 만들기

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

3. 컨테이너 시작

docker start rgb-d-fusion

디렉터리 계층 구조는 다음과 같아야 합니다.

 |- tf
   |- manual_datasets
      |- <DATASET 1> 
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |- <DATASET 2>                   # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

계층 구조는 한 위치 또는 다른 디렉터리에 생성될 수 있습니다. Docker 컨테이너를 시작할 때 여러 디렉터리를 함께 마운트할 수 있습니다.

훈련, 평가 및/또는 추론 스크립트 실행

스크립트는 스크립트 아래에 있습니다. 현재 두 가지 유형의 모델이 있습니다.

1. 깊이 확산 모델(Depth Diffusion Model)은 RGB 이미지에 따라 깊이 맵을 생성하는 확산 모델입니다.
2. 초해상도 확산 모델은 저해상도 RGB-D에서 고해상도 RGB-D를 생성하는 확산 모델입니다.

각 모델에는 Python으로 작성된 전용 교육, 평가 및 추론 스크립트가 있습니다. python <SCRIPT> -h 통해 기능과 매개변수를 확인할 수 있습니다.

✒️ 인용

우리 작업이 귀하의 연구에 도움이 된다면 다음 BibTeX 항목을 인용하는 것을 고려해 보십시오.

 @article { kirch_rgb-d-fusion_2023 ,
 title = { RGB-D-Fusion: Image Conditioned Depth Diffusion of Humanoid Subjects } ,
 author = { Kirch, Sascha and Olyunina, Valeria and Ondřej, Jan and Pagés, Rafael and Martín, Sergio and Pérez-Molina, Clara } ,
 journal = { IEEE Access } ,
 year = { 2023 } ,
 volume = { 11 } ,
 issn = { 2169-3536 } ,
 doi = { 10.1109/ACCESS.2023.3312017 } ,
 pages = { 99111--99129 } ,
 url = { https://ieeexplore.ieee.org/document/10239167 } ,
}