CONTHO_RELEASE

CONTHO : совместная реконструкция 3D-человека и объекта с помощью контактного уточняющего преобразователя.

Хёнджин Нам* ¹ , Даниэль Сонхо Чон* ¹ , Кёнсик Мун ² , Кён Му Ли ¹

¹ Сеульский национальный университет , ² лаборатории кодеков-аватаров, Meta
(*равный вклад)

ЦВПР 2024

CONTHO совместно реконструирует трехмерного человека и объект , используя контакт человека с объектом в качестве ключевого сигнала для точной реконструкции. С этой целью мы объединяем «3D-реконструкцию человека и объекта» и «Оценку контакта человека с объектом» , две разные задачи, которые изучались отдельно в двух направлениях, в одну унифицированную структуру.

Установка

• Мы рекомендуем вам использовать виртуальную среду Anaconda. Установите PyTorch >= 1.10.1 и Python >= 3.7.0. Наша последняя модель CONTHO протестирована на Python 3.9.13, PyTorch 1.10.1, CUDA 10.2.
• Настройка среды

    # Initialize conda environment
    conda create -n contho python=3.9
    conda activate contho 

    # Install PyTorch
    conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=10.2 -c pytorch

    # Install all remaining packages
    pip install -r requirements.txt

Быстрая демонстрация

• Подготовьте base_data с Google Диска или Onedrive и поместите его как ${ROOT}/data/base_data .
• Загрузите предварительно обученную контрольную точку с Google Диска или OneDrive.
• Наконец, пожалуйста, запустите

 python main/demo.py --gpu 0 --checkpoint {CKPT_PATH}

Данные

Вам необходимо следовать структуре каталогов data , как показано ниже.

 ${ROOT} 
|-- data  
|   |-- base_data
|   |   |-- annotations
|   |   |-- backbone_models
|   |   |-- human_models
|   |   |-- object_models
|   |-- BEHAVE
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- Date01_Sub01_backpack_back
|   |   |   |-- Date01_Sub01_backpack_hand
|   |   |   |-- ...
|   |   |   |-- Date07_Sub08_yogamat
|   |-- InterCap
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- 01
|   |   |   |-- 02
|   |   |   |-- ...
|   |   |   |-- 10

• Загрузите последовательности Data01~Data07 из набора данных BEHAVE в ${ROOT}/data/BEHAVE/sequences .
  (Вариант 1) Загрузите набор данных BEHAVE напрямую со страницы загрузки.
  (Вариант 2) Запустите сценарий ниже.

 scripts/download_behave.sh

• Загрузите RGBD_Images.zip и Res.zip из набора данных InterCap в ${ROOT}/data/InterCap/sequences .
  (Вариант 1) Загрузите набор данных InterCap напрямую со страницы загрузки.
  (Вариант 2) Запустите сценарий ниже.

 scripts/download_intercap.sh

• Загрузите base_data с Google Диска или Onedrive.
• (Необязательно) Загрузите выпущенные контрольные точки для набора данных BEHAVE (Google Drive | OneDrive) и InterCap (Google Drive | OneDrive).

Запуск КОНТО

Тренироваться

Чтобы обучить CONTHO на наборе данных BEHAVE или InterCap, запустите

 python main/train.py --gpu 0 --dataset {DATASET}

Тест

Чтобы оценить CONTHO в наборе данных BEHAVE или InterCap, запустите

 python main/test.py --gpu 0 --dataset {DATASET} --checkpoint {CKPT_PATH}

Результаты

Здесь мы сообщаем о производительности CONTHO.
CONTHO — это быстрая и точная система трехмерной реконструкции людей и объектов!

Технические вопросы и ответы

• RuntimeError: вычитание, оператор - с логическим тензором не поддерживается. Если вы пытаетесь инвертировать маску, используйте вместо нее оператор ~ или logical_not() : Пожалуйста, проверьте ссылку.
• bash: scripts/download_behave.sh: Разрешение отклонено: проверьте ссылку.

Благодарность

Мы благодарим:

• Hand4Whole для 3D-реконструкции сетки человека.
• CHORE для обучения и тестирования BEHAVE.
• InterCap для загрузки скрипта набора данных.
• DECO для проведения экспериментов в дикой природе.

Ссылка

 @inproceedings{nam2024contho,    
title = {Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer},
author = {Nam, Hyeongjin and Jung, Daniel Sungho and Moon, Gyeongsik and Lee, Kyoung Mu},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},  
year = {2024}  
}