Hyeongjin Nam* 1 , Daniel Sungho Jung* 1 , Gyeongsik Moon 2 , Kyoung Mu Lee 1
1 Université nationale de Séoul , 2 Codec Avatars Lab, Meta
(*Contribution égale)
CONTHO reconstruit conjointement l'homme et l'objet en 3D en exploitant le contact homme-objet comme signal clé dans une reconstruction précise. À cette fin, nous intégrons la "reconstruction 3D homme-objet" et "l'estimation du contact homme-objet" , deux tâches différentes qui ont été étudiées séparément dans deux pistes, avec un cadre unifié.
# Initialize conda environment
conda create -n contho python=3.9
conda activate contho
# Install PyTorch
conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=10.2 -c pytorch
# Install all remaining packages
pip install -r requirements.txt
base_data
à partir de Google Drive ou Onedrive et placez-le sous ${ROOT}/data/base_data
. python main/demo.py --gpu 0 --checkpoint {CKPT_PATH}
Vous devez suivre la structure des répertoires des data
comme ci-dessous.
${ROOT}
|-- data
| |-- base_data
| | |-- annotations
| | |-- backbone_models
| | |-- human_models
| | |-- object_models
| |-- BEHAVE
| | |-- dataset.py
| | |-- sequences
| | | |-- Date01_Sub01_backpack_back
| | | |-- Date01_Sub01_backpack_hand
| | | |-- ...
| | | |-- Date07_Sub08_yogamat
| |-- InterCap
| | |-- dataset.py
| | |-- sequences
| | | |-- 01
| | | |-- 02
| | | |-- ...
| | | |-- 10
${ROOT}/data/BEHAVE/sequences
. scripts/download_behave.sh
${ROOT}/data/InterCap/sequences
. scripts/download_intercap.sh
Pour entraîner CONTHO sur l'ensemble de données BEHAVE ou InterCap, veuillez exécuter
python main/train.py --gpu 0 --dataset {DATASET}
Pour évaluer CONTHO sur l'ensemble de données BEHAVE ou InterCap, veuillez exécuter
python main/test.py --gpu 0 --dataset {DATASET} --checkpoint {CKPT_PATH}
Ici, nous rapportons les performances de CONTHO.
CONTHO est un framework de reconstruction humaine et d'objets 3D rapide et précis !
-
, avec un tenseur booléen n'est pas prise en charge. Si vous essayez d'inverser un masque, utilisez plutôt l'opérateur ~
ou logical_not()
: Veuillez vérifier la référence.Nous remercions :
@inproceedings{nam2024contho,
title = {Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer},
author = {Nam, Hyeongjin and Jung, Daniel Sungho and Moon, Gyeongsik and Lee, Kyoung Mu},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
year = {2024}
}