CONTHO_RELEASE

CONTHO : Reconstrucción conjunta de seres humanos y objetos 3D mediante un transformador de refinamiento basado en contactos

Hyeongjin Nam* ¹ , Daniel Sungho Jung* ¹ , Gyeongsik Moon ² , Kyoung Mu Lee ¹

¹ Universidad Nacional de Seúl , ² Laboratorio de avatares de códec, Meta
(*Igual contribución)

CVPR 2024

CONTHO reconstruye conjuntamente seres humanos y objetos en 3D aprovechando el contacto entre humanos y objetos como señal clave para una reconstrucción precisa. Con este fin, integramos la "reconstrucción 3D de objetos humanos" y la "estimación de contacto entre humanos y objetos" , las dos tareas diferentes que se han estudiado por separado en dos pistas, con un marco unificado.

Instalación

• Le recomendamos utilizar un entorno virtual Anaconda. Instale PyTorch >=1.10.1 y Python >= 3.7.0. Nuestro último modelo CONTHO se prueba en Python 3.9.13, PyTorch 1.10.1, CUDA 10.2.
• Configurar el entorno

    # Initialize conda environment
    conda create -n contho python=3.9
    conda activate contho 

    # Install PyTorch
    conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=10.2 -c pytorch

    # Install all remaining packages
    pip install -r requirements.txt

Demostración rápida

• Prepare base_data de Google Drive o Onedrive y colóquelo como ${ROOT}/data/base_data .
• Descargue el punto de control previamente entrenado desde Google Drive o OneDrive.
• Por último, ejecute

 python main/demo.py --gpu 0 --checkpoint {CKPT_PATH}

Datos

Debe seguir la estructura de directorios de los data como se muestra a continuación.

 ${ROOT} 
|-- data  
|   |-- base_data
|   |   |-- annotations
|   |   |-- backbone_models
|   |   |-- human_models
|   |   |-- object_models
|   |-- BEHAVE
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- Date01_Sub01_backpack_back
|   |   |   |-- Date01_Sub01_backpack_hand
|   |   |   |-- ...
|   |   |   |-- Date07_Sub08_yogamat
|   |-- InterCap
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- 01
|   |   |   |-- 02
|   |   |   |-- ...
|   |   |   |-- 10

• Descargue las secuencias Data01~Data07 del conjunto de datos BEHAVE a ${ROOT}/data/BEHAVE/sequences .
  (Opción 1) Descargue directamente el conjunto de datos BEHAVE desde su página de descarga.
  (Opción 2) Ejecute el siguiente script.

 scripts/download_behave.sh

• Descargue RGBD_Images.zip y Res.zip del conjunto de datos de InterCap a ${ROOT}/data/InterCap/sequences .
  (Opción 1) Descargue directamente el conjunto de datos de InterCap desde su página de descarga.
  (Opción 2) Ejecute el siguiente script.

 scripts/download_intercap.sh

• Descargue base_data desde Google Drive o Onedrive.
• (Opcional) Descargue los puntos de control publicados para el conjunto de datos BEHAVE (Google Drive | OneDrive) e InterCap (Google Drive | OneDrive).

Ejecutando CONTHO

Tren

Para entrenar CONTHO en el conjunto de datos BEHAVE o InterCap, ejecute

 python main/train.py --gpu 0 --dataset {DATASET}

Prueba

Para evaluar CONTHO en el conjunto de datos BEHAVE o InterCap, ejecute

 python main/test.py --gpu 0 --dataset {DATASET} --checkpoint {CKPT_PATH}

Resultados

Aquí informamos el desempeño de CONTHO.
¡CONTHO es un marco de reconstrucción de objetos y personas en 3D rápido y preciso !

Preguntas y respuestas técnicas

• RuntimeError: No se admite la resta, el operador - , con un tensor bool. Si está intentando invertir una máscara, utilice el operador ~ o logical_not() en su lugar: consulte la referencia.
• bash: scripts/download_behave.sh: Permiso denegado: verifique la referencia.

Reconocimiento

Agradecemos:

• Hand4Whole para la reconstrucción de malla humana en 3D.
• TAREAS para entrenar y probar BEHAVE.
• InterCap para descargar el script del conjunto de datos.
• DECO para la configuración de experimentos en la naturaleza.

Referencia

 @inproceedings{nam2024contho,    
title = {Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer},
author = {Nam, Hyeongjin and Jung, Daniel Sungho and Moon, Gyeongsik and Lee, Kyoung Mu},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},  
year = {2024}  
}