CONTHO_RELEASE

CONTHO : Reconstrução Conjunta de Humanos e Objetos 3D via Transformador de Refinamento Baseado em Contato

Hyeongjin Nam* ¹ , Daniel Sungho Jung* ¹ , Gyeongsik Moon ² , Kyoung Mu Lee ¹

¹ Universidade Nacional de Seul , ² Laboratório de Avatares de Codec, Meta
(*Contribuição igual)

CVPR 2024

CONTHO reconstrói conjuntamente humanos e objetos em 3D , explorando o contato homem-objeto como um sinal chave na reconstrução precisa. Para este fim, integramos "Reconstrução 3D de objetos humanos" e "Estimativa de contato humano-objetos" , as duas tarefas diferentes que foram estudadas separadamente em duas faixas, com uma estrutura unificada.

Instalação

• Recomendamos que você use um ambiente virtual Anaconda. Instale PyTorch >=1.10.1 e Python >= 3.7.0. Nosso modelo CONTHO mais recente foi testado em Python 3.9.13, PyTorch 1.10.1, CUDA 10.2.
• Configure o ambiente

    # Initialize conda environment
    conda create -n contho python=3.9
    conda activate contho 

    # Install PyTorch
    conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=10.2 -c pytorch

    # Install all remaining packages
    pip install -r requirements.txt

Demonstração rápida

• Prepare o base_data do Google Drive ou Onedrive e coloque-o como ${ROOT}/data/base_data .
• Baixe o ponto de verificação pré-treinado no Google Drive ou OneDrive.
• Por último, por favor, execute

 python main/demo.py --gpu 0 --checkpoint {CKPT_PATH}

Dados

Você precisa seguir a estrutura de diretórios dos data conforme abaixo.

 ${ROOT} 
|-- data  
|   |-- base_data
|   |   |-- annotations
|   |   |-- backbone_models
|   |   |-- human_models
|   |   |-- object_models
|   |-- BEHAVE
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- Date01_Sub01_backpack_back
|   |   |   |-- Date01_Sub01_backpack_hand
|   |   |   |-- ...
|   |   |   |-- Date07_Sub08_yogamat
|   |-- InterCap
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- 01
|   |   |   |-- 02
|   |   |   |-- ...
|   |   |   |-- 10

• Baixe as sequências Data01 ~ Data07 do conjunto de dados BEHAVE para ${ROOT}/data/BEHAVE/sequences .
  (Opção 1) Baixe diretamente o conjunto de dados BEHAVE de sua página de download.
  (Opção 2) Execute o script abaixo.

 scripts/download_behave.sh

• Baixe RGBD_Images.zip e Res.zip do conjunto de dados InterCap para ${ROOT}/data/InterCap/sequences .
  (Opção 1) Baixe diretamente o conjunto de dados InterCap de sua página de download.
  (Opção 2) Execute o script abaixo.

 scripts/download_intercap.sh

• Baixe base_data do Google Drive ou Onedrive.
• (Opcional) Baixe os pontos de verificação lançados para o conjunto de dados BEHAVE (Google Drive | OneDrive) e InterCap (Google Drive | OneDrive).

Executando CONTHO

Trem

Para treinar CONTHO no conjunto de dados BEHAVE ou InterCap, execute

 python main/train.py --gpu 0 --dataset {DATASET}

Teste

Para avaliar CONTHO no conjunto de dados BEHAVE ou InterCap, execute

 python main/test.py --gpu 0 --dataset {DATASET} --checkpoint {CKPT_PATH}

Resultados

Aqui, relatamos o desempenho do CONTHO.
CONTHO é uma estrutura de reconstrução 3D de humanos e objetos rápida e precisa !

Perguntas e respostas técnicas

• RuntimeError: A subtração, o operador - , com um tensor bool não é suportada. Se você estiver tentando inverter uma máscara, use o operador ~ ou logical_not() : Verifique a referência.
• bash: scripts/download_behave.sh: Permissão negada: verifique a referência.

Reconhecimento

Agradecemos:

• Hand4Whole para reconstrução de malha humana 3D.
• CHORE para treinamento e testes em BEHAVE.
• InterCap para script de download do conjunto de dados.
• DECO para configuração de experimentos na natureza.

Referência

 @inproceedings{nam2024contho,    
title = {Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer},
author = {Nam, Hyeongjin and Jung, Daniel Sungho and Moon, Gyeongsik and Lee, Kyoung Mu},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},  
year = {2024}  
}