CONTHO_RELEASE

CONTHO : Rekonstruksi Gabungan Manusia dan Objek 3D melalui Transformator Penyempurnaan Berbasis Kontak

Hyeongjin Nam* ¹ , Daniel Sungho Jung* ¹ , Gyeongsik Moon ² , Kyoung Mu Lee ¹

¹ Universitas Nasional Seoul , ² Lab Codec Avatar, Meta
(*Kontribusi yang sama)

CVPR 2024

CONTHO bersama-sama merekonstruksi manusia dan objek 3D dengan memanfaatkan kontak manusia-objek sebagai sinyal kunci dalam rekonstruksi yang akurat. Untuk mencapai tujuan ini, kami mengintegrasikan "rekonstruksi objek-manusia 3D" dan "Estimasi kontak objek-manusia" , dua tugas berbeda yang telah dipelajari secara terpisah dalam dua jalur, dengan satu kerangka terpadu.

Instalasi

• Kami menyarankan Anda untuk menggunakan lingkungan virtual Anaconda. Instal PyTorch >=1.10.1 dan Python >= 3.7.0. Model CONTHO terbaru kami diuji pada Python 3.9.13, PyTorch 1.10.1, CUDA 10.2.

• Siapkan lingkungan

    # Initialize conda environment
    conda create -n contho python=3.9
    conda activate contho 

    # Install PyTorch
    conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=10.2 -c pytorch

    # Install all remaining packages
    pip install -r requirements.txt

Demo cepat

• Siapkan base_data dari Google Drive atau Onedrive, dan letakkan sebagai ${ROOT}/data/base_data .

• Unduh pos pemeriksaan terlatih dari Google Drive atau OneDrive.

• Terakhir silahkan dijalankan

python main/demo.py --gpu 0 --checkpoint {CKPT_PATH}

Data

Anda harus mengikuti struktur direktori data seperti di bawah ini.

${ROOT} 
|-- data  
|   |-- base_data
|   |   |-- annotations
|   |   |-- backbone_models
|   |   |-- human_models
|   |   |-- object_models
|   |-- BEHAVE
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- Date01_Sub01_backpack_back
|   |   |   |-- Date01_Sub01_backpack_hand
|   |   |   |-- ...
|   |   |   |-- Date07_Sub08_yogamat
|   |-- InterCap
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- 01
|   |   |   |-- 02
|   |   |   |-- ...
|   |   |   |-- 10

• Unduh urutan Data01~Data07 dari kumpulan data BEHAVE ke ${ROOT}/data/BEHAVE/sequences .
  (Opsi 1) Unduh langsung kumpulan data BEHAVE dari halaman unduhnya.
  (Opsi 2) Jalankan skrip di bawah ini.

scripts/download_behave.sh

• Unduh RGBD_Images.zip dan Res.zip dari kumpulan data InterCap ke ${ROOT}/data/InterCap/sequences .
  (Opsi 1) Unduh langsung kumpulan data InterCap dari halaman unduhnya.
  (Opsi 2) Jalankan skrip di bawah ini.

scripts/download_intercap.sh

• Unduh base_data dari Google Drive atau Onedrive.

• (Opsional) Unduh pos pemeriksaan yang dirilis untuk kumpulan data BEHAVE (Google Drive | OneDrive) dan InterCap (Google Drive | OneDrive).

Menjalankan CONTHO

Kereta

Untuk melatih CONTHO pada dataset BEHAVE atau InterCap, silakan jalankan

python main/train.py --gpu 0 --dataset {DATASET}

Tes

Untuk mengevaluasi CONTHO pada dataset BEHAVE atau InterCap, silakan jalankan

python main/test.py --gpu 0 --dataset {DATASET} --checkpoint {CKPT_PATH}

Hasil

Di sini, kami melaporkan kinerja CONTHO.
CONTHO adalah kerangka rekonstruksi manusia dan objek 3D yang cepat dan akurat !

Tanya Jawab Teknis

• RuntimeError: Pengurangan, operator - , dengan tensor bool tidak didukung. Jika Anda mencoba membalikkan topeng, gunakan operator ~ atau logical_not() sebagai gantinya: Silakan periksa referensi.

• bash: scripts/download_behave.sh: Izin ditolak: Silakan periksa referensi.

Pengakuan

Kami berterima kasih kepada:

• Hand4Whole untuk rekonstruksi jaring manusia 3D.

• CHORE untuk pelatihan dan pengujian BEHAVE.

• InterCap untuk mengunduh skrip kumpulan data.

• DECO untuk pengaturan eksperimen di alam liar.

Referensi

@inproceedings{nam2024contho,    
title = {Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer},
author = {Nam, Hyeongjin and Jung, Daniel Sungho and Moon, Gyeongsik and Lee, Kyoung Mu},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},  
year = {2024}  
}