SCULPT_release
1.0.0
SCULPT の公式コードベース: ポーズ依存の着衣およびテクスチャード ヒューマン メッシュの形状条件付き不対学習
プロジェクトのウェブサイト|データセットのダウンロード| Arxiv ペーパー|ビデオ
まず、github リポジトリのクローンを作成します。
git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release
パッケージと、requirements.txt ファイルに記載されている対応するバージョンをインストールします。
python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt
次のバージョンの PyTorch をインストールします。トレーニング コードと推論コードは、V100 GPU および A100 GPU でテストされます。報告された結果を得るために、8 つの GPU を使用してモデルを 5 ～ 6 日間トレーニングしました。
torch 1.13.1
torchaudio 0.13.1
torchmetrics 0.11.1
torchvision 0.14.1
メインディレクトリ内にデータフォルダーを作成します。
mkdir data
プロジェクト Web サイトからすべてのデータをダウンロードして抽出し、データ フォルダーに配置します。
SCULPT をトレーニングするための前処理された画像と注釈がすべて含まれているRGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zipを解凍しないでください。
次に、次のコマンドを実行してトレーニングを開始します
sh trainer_cluster_mul.sh
新しいデータセットを使用して SCULPT をトレーニングするには、dataset_tool.py によって提供されるスクリプトに従います。ただし、本文で説明されているように、最初に新しいデータの衣服のタイプと衣服の色を計算する必要があります。今後のアップデートでこれらの特徴量計算用のスクリプトを追加する予定です。
トレーニング済みのジオメトリ ジェネレーターのチェックポイントはすでに提供されており、トレーニングにはさらに 5 日かかります。
学術研究用に独自のモデルをトレーニングしたい場合に備えて、生のファッション画像 (512x512) とその注釈も提供します。
まずはデータフォルダを作成します。次に、プロジェクト Web サイトからすべてのデータをダウンロードして抽出し、データ フォルダーに配置します。次に、次のコマンドを実行して、本文とビデオで使用されるメッシュとレンダリングを生成します。
python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir
さまざまな種類の衣服や色を組み合わせて、さまざまなジオメトリやテクスチャを生成できます。これは、推論コードを調べることで実現できます。
事前トレーニング済みモデルを使用して新しいカラー サンプルを生成したい場合は、最初にテキスト コメントを記述し、次に論文で説明されているように CLIP 特徴を計算することで実行できます。
スムーズな開始点として、主要論文とビデオに示されているサンプルに対して、事前に計算された CLIP および BLIP 機能がすでに提供されています。
このコードベースを使用するには、プロジェクトの Web サイトで使用許諾契約に同意してください。ライセンスに関する質問は [email protected] までお問い合わせください。
当社のデータやコードを使用する場合は、論文を引用してください。
@inproceedings{SCULPT:CVPR:2024,
title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year = {2024},
}
