CONTHO : 接触ベースのリファインメントトランスフォーマによる 3D 人間と物体の共同再構築

ナム・ヒョンジン* ¹ 、ダニエル・ソンホ・ジョン* ¹ 、ムン・ギョンシク² 、イ・ギョンム¹

¹ソウル大学、 ²コーデックアバター研究室、メタ
(*均等貢献)

CVPR 2024

CONTHO は、人間とオブジェクトの接触を正確な再構築の重要な信号として利用することで、3D の人間とオブジェクトを共同で再構築します。この目的を達成するために、私たちは 2 つのトラックで別々に研究されてきた「3D 人体-物体再構成」と「人体-物体接触推定」という2 つの異なるタスクを 1 つの統一されたフレームワークに統合します。

インストール

Anaconda 仮想環境を使用することをお勧めします。 PyTorch >=1.10.1 および Python >= 3.7.0 をインストールします。最新の CONTHO モデルは、Python 3.9.13、PyTorch 1.10.1、CUDA 10.2 でテストされています。
環境をセットアップする

    # Initialize conda environment
    conda create -n contho python=3.9
    conda activate contho 

    # Install PyTorch
    conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=10.2 -c pytorch

    # Install all remaining packages
    pip install -r requirements.txt

クイックデモ

Google Drive または Onedrive からbase_data準備し、 ${ROOT}/data/base_dataとして配置します。
事前トレーニングされたチェックポイントを Google Drive または OneDrive からダウンロードします。
最後は走ってください

 python main/demo.py --gpu 0 --checkpoint {CKPT_PATH}

データ

以下のようなdataのディレクトリ構造に従う必要があります。

 ${ROOT} 
|-- data  
|   |-- base_data
|   |   |-- annotations
|   |   |-- backbone_models
|   |   |-- human_models
|   |   |-- object_models
|   |-- BEHAVE
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- Date01_Sub01_backpack_back
|   |   |   |-- Date01_Sub01_backpack_hand
|   |   |   |-- ...
|   |   |   |-- Date07_Sub08_yogamat
|   |-- InterCap
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- 01
|   |   |   |-- 02
|   |   |   |-- ...
|   |   |   |-- 10

Data01~Data07 シーケンスを BEHAVE データセットから${ROOT}/data/BEHAVE/sequencesにダウンロードします。
(オプション 1) ダウンロードページから BEHAVE データセットを直接ダウンロードします。
(オプション 2) 以下のスクリプトを実行します。

 scripts/download_behave.sh

InterCap データセットから RGBD_Images.zip と Res.zip を${ROOT}/data/InterCap/sequencesにダウンロードします。
(オプション 1) ダウンロードページから InterCap データセットを直接ダウンロードします。
(オプション 2) 以下のスクリプトを実行します。

 scripts/download_intercap.sh

Google Drive または Onedrive から Base_data をダウンロードします。
(オプション) BEHAVE (Google Drive | OneDrive) および InterCap (Google Drive | OneDrive) データセット用にリリースされたチェックポイントをダウンロードします。

ランニングコンソ

電車

BEHAVE または InterCap データセットで CONTHO をトレーニングするには、次を実行してください。

 python main/train.py --gpu 0 --dataset {DATASET}

テスト

BEHAVE または InterCap データセットで CONTHO を評価するには、次を実行してください。

 python main/test.py --gpu 0 --dataset {DATASET} --checkpoint {CKPT_PATH}

結果

ここではCONTHOの実績を報告します。
CONTHO は、高速かつ正確な3D 人間とオブジェクトの再構築フレームワークです。

技術的なQ&A

RuntimeError: ブールテンソルを使用した減算、 -演算子はサポートされていません。マスクを反転しようとしている場合は、代わりに~またはlogical_not()演算子を使用してください。リファレンスを確認してください。
bash: scripts/download_behave.sh: 権限が拒否されました: リファレンスを確認してください。

了承

感謝します:

3D ヒューマンメッシュ再構築用の Hand4Whole。
BEHAVE のトレーニングとテスト用の CHORE。
データセットのダウンロードスクリプト用の InterCap。
野外実験セットアップ用の DECO。

参照

 @inproceedings{nam2024contho,    
title = {Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer},
author = {Nam, Hyeongjin and Jung, Daniel Sungho and Moon, Gyeongsik and Lee, Kyoung Mu},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},  
year = {2024}  
}

拡大する

追加情報