[Halaman kertas] [kertas] [Supp. Tikar.]
Lisensi Hak Cipta Perangkat Lunak untuk Tujuan Penelitian Ilmiah Non-Komersial . Harap baca dengan cermat syarat dan ketentuan dan dokumentasi yang menyertainya sebelum Anda mengunduh dan/atau menggunakan model, data, dan perangkat lunak SMPL-X/SMPLIFY-X, ("Model & Perangkat Lunak"), termasuk 3D meshes, campuran bobot, bentuk campuran bentuk , tekstur, perangkat lunak, skrip, dan animasi. Dengan mengunduh dan/atau menggunakan model & perangkat lunak (termasuk mengunduh, mengkloning, menginstal, dan penggunaan lain dari repositori github ini), Anda mengakui bahwa Anda telah membaca syarat dan ketentuan ini, memahaminya, dan setuju untuk terikat olehnya. Jika Anda tidak setuju dengan syarat dan ketentuan ini, Anda tidak boleh mengunduh dan/atau menggunakan model & perangkat lunak. Setiap pelanggaran ketentuan Perjanjian ini akan secara otomatis mengakhiri hak -hak Anda di bawah lisensi ini.
Gambar asli yang digunakan untuk gambar 1 dan 2 dari kertas ini dapat ditemukan di tautan ini. Gambar di koran digunakan di bawah lisensi dari gettyimages.com. Kami telah memperoleh hak untuk menggunakannya dalam publikasi, tetapi redistribusi tidak diizinkan. Ikuti instruksi pada tautan yang diberikan untuk memperoleh hak penggunaan. Hasil kami diperoleh pada resolusi 483 × 724 piksel dari gambar asli.
SMPL-X (SMPL Expressive) adalah model tubuh terpadu dengan parameter bentuk yang dilatih bersama untuk wajah, tangan, dan tubuh. SMPL-X menggunakan campuran campuran linear berbasis vertex standar dengan bentuk campuran korektif yang dipelajari, memiliki n = 10, 475 simpul dan k = 54 sendi, yang termasuk sendi untuk leher, rahang, bola mata dan jari. SMPL-X didefinisikan oleh fungsi m (θ, β, ψ), di mana θ adalah parameter pose, β parameter bentuk dan ψ parameter ekspresi wajah.
Untuk menginstal model, ikuti langkah selanjutnya dalam urutan yang ditentukan:
pip install smplx[all]git clone https://github.com/vchoutas/smplx
python setup.py installUntuk mengunduh model SMPL-X , buka situs web proyek ini dan mendaftar untuk mendapatkan akses ke bagian unduhan.
Untuk mengunduh model SMPL+H , buka situs web proyek ini dan mendaftar untuk mendapatkan akses ke bagian unduhan.
Untuk mengunduh model SMPL , buka situs web proyek ini (model pria dan wanita) dan ini (Model Netral Gender) dan mendaftar untuk mendapatkan akses ke bagian unduhan.
Loader memberikan opsi untuk menggunakan model SMPL-X, SMPL+H, SMPL, dan Mano. Bergantung pada model yang ingin Anda gunakan, silakan ikuti instruksi unduhan masing -masing. Untuk beralih antara mano, smpl, smpl+h dan smpl-x cukup ubah parameter model_path atau model_type . Untuk detail lebih lanjut silakan periksa dokumen kelas model. Sebelum menggunakan SMPL dan SMPL+H, Anda harus mengikuti instruksi di Tools/ReadMe.md untuk menghapus objek chumpy dari kedua model PKL, serta menggabungkan parameter mano dengan SMPL+H.
Anda dapat menggunakan fungsi Buat dari body_models atau langsung memanggil konstruktor untuk model SMPL, SMPL+H dan SMPL-X. Jalur ke model dapat menjadi jalur ke file dengan parameter atau direktori dengan struktur berikut:
models
├── smpl
│ ├── SMPL_FEMALE.pkl
│ └── SMPL_MALE.pkl
│ └── SMPL_NEUTRAL.pkl
├── smplh
│ ├── SMPLH_FEMALE.pkl
│ └── SMPLH_MALE.pkl
├── mano
| ├── MANO_RIGHT.pkl
| └── MANO_LEFT.pkl
└── smplx
├── SMPLX_FEMALE.npz
├── SMPLX_FEMALE.pkl
├── SMPLX_MALE.npz
├── SMPLX_MALE.pkl
├── SMPLX_NEUTRAL.npz
└── SMPLX_NEUTRAL.pklKorespondensi titik antara SMPL-X dan Mano, api dapat diunduh dari situs web proyek. Jika Anda telah mengekstraksi data korespondensi dalam korespondensi folder, maka gunakan skrip berikut untuk memvisualisasikannya:
python examples/vis_mano_vertices.py --model-folder $SMPLX_FOLDER --corr-fname correspondences/MANO_SMPLX_vertex_ids.pkl
python examples/vis_flame_vertices.py --model-folder $SMPLX_FOLDER --corr-fname correspondences/SMPL-X__FLAME_vertex_ids.npy
Setelah menginstal paket SMPLX dan mengunduh parameter model, Anda harus dapat menjalankan skrip demo.py untuk memvisualisasikan hasilnya. Untuk langkah ini Anda harus menginstal paket Pyrender dan Trimesh.
python examples/demo.py --model-folder $SMPLX_FOLDER --plot-joints=True --gender="neutral"
Jika Anda ingin memodifikasi pose global model, yaitu rotasi dan terjemahan root, ke sistem koordinat baru misalnya, Anda perlu memperhitungkan bahwa rotasi model menggunakan panggul sebagai pusat rotasi. Deskripsi yang lebih rinci dapat ditemukan di tautan berikut. Jika ada sesuatu yang tidak jelas, beri tahu saya agar saya dapat memperbarui deskripsi.
Bergantung pada model mana yang dimuat untuk proyek Anda, yaitu SMPL-X atau SMPL+H atau SMPL, silakan mengutip pekerjaan yang paling relevan di bawah ini, tercantum dalam urutan yang sama:
@inproceedings{SMPL-X:2019,
title = {Expressive Body Capture: 3D Hands, Face, and Body from a Single Image},
author = {Pavlakos, Georgios and Choutas, Vasileios and Ghorbani, Nima and Bolkart, Timo and Osman, Ahmed A. A. and Tzionas, Dimitrios and Black, Michael J.},
booktitle = {Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)},
year = {2019}
}
@article{MANO:SIGGRAPHASIA:2017,
title = {Embodied Hands: Modeling and Capturing Hands and Bodies Together},
author = {Romero, Javier and Tzionas, Dimitrios and Black, Michael J.},
journal = {ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)},
volume = {36},
number = {6},
series = {245:1--245:17},
month = nov,
year = {2017},
month_numeric = {11}
}
@article{SMPL:2015,
author = {Loper, Matthew and Mahmood, Naureen and Romero, Javier and Pons-Moll, Gerard and Black, Michael J.},
title = {{SMPL}: A Skinned Multi-Person Linear Model},
journal = {ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)},
month = oct,
number = {6},
pages = {248:1--248:16},
publisher = {ACM},
volume = {34},
year = {2015}
}
Repositori ini awalnya dikembangkan untuk SMPL-X/SMPLIFY-X (CVPR 2019), Anda mungkin tertarik untuk memiliki tampilan: https://smpl-x.is.tue.mpg.de.
Terima kasih khusus kepada Soubhik Sanyal karena telah berbagi kode TensorFlow yang digunakan untuk landmark wajah.
Kode repositori ini diimplementasikan oleh Vassilis Choutas.
Untuk pertanyaan, silakan hubungi [email protected].
Untuk lisensi komersial (dan semua pertanyaan terkait untuk aplikasi bisnis), silakan hubungi [email protected].
