CenterSnap
1.0.0
Repositori ini adalah implementasi pytorch dari makalah kami: 
CenterSnap: Rekonstruksi Bentuk 3D Multi-Objek Bidikan Tunggal dan Pose 6D Kategoris serta Estimasi Ukuran
Muhammad Zubair Irshad , Thomas Kollar, Michael Laskey, Kevin Stone, Zsolt Kira
Konferensi Internasional tentang Robotika dan Otomasi (ICRA), 2022
[Halaman Proyek] [arXiv] [PDF] [Video] [Poster]
Pekerjaan lanjutan ECCV'22:
ShAPO: Representasi Implisit untuk Bentuk, Penampilan, dan Optimasi Pose Multi-Objek
Muhammad Zubair Irshad , Sergey Zakharov, Rares Ambrus, Thomas Kollar, Zsolt Kira, Adrien Gaidon
Konferensi Eropa tentang Visi Komputer (ECCV), 2022
[Halaman Proyek] [arXiv] [PDF] [Video] [Poster]
Jika Anda merasa repositori ini berguna, mohon pertimbangkan untuk mengutip:
@inproceedings{irshad2022centersnap,
title = {CenterSnap: Single-Shot Multi-Object 3D Shape Reconstruction and Categorical 6D Pose and Size Estimation},
author = {Muhammad Zubair Irshad and Thomas Kollar and Michael Laskey and Kevin Stone and Zsolt Kira},
journal = {IEEE International Conference on Robotics and Automation (ICRA)},
year = {2022}
}
@inproceedings{irshad2022shapo,
title = {ShAPO: Implicit Representations for Multi-Object Shape Appearance and Pose Optimization},
author = {Muhammad Zubair Irshad and Sergey Zakharov and Rares Ambrus and Thomas Kollar and Zsolt Kira and Adrien Gaidon},
journal = {European Conference on Computer Vision (ECCV)},
year = {2022}
}
Buat lingkungan virtual python 3.8 dan instal persyaratan:
cd $CenterSnap_Repo
conda create -y --prefix ./env python=3.8
conda activate ./env/
./env/bin/python -m pip install --upgrade pip
./env/bin/python -m pip install -r requirements.txt Instal torch==1.7.1 torchvision==0.8.2 berdasarkan versi CUDA Anda. Kode ini dibuat dan diuji pada cuda 10.2 . Contoh perintah untuk menginstal torch di cuda 10.2 adalah sebagai berikut:
pip install torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2Pembaruan Baru : Silakan periksa skrip terdistribusi dari ShAPO karya ECCV'22 kami yang baru jika Anda ingin mengumpulkan data Anda sendiri dari awal dalam beberapa jam. Skrip terdistribusi tersebut mengumpulkan data dalam format yang sama seperti yang disyaratkan oleh CenterSnap , meskipun dengan sedikit modifikasi seperti yang disebutkan dalam repo tersebut.
Kami merekomendasikan mengunduh kumpulan data yang telah diproses sebelumnya untuk melatih dan mengevaluasi model CenterSnap. Unduh dan untar kumpulan data Sintetis (868 GB) dan Nyata (70 GB). File-file ini berisi semua pelatihan dan validasi yang Anda perlukan untuk mereplikasi hasil kami.
cd $CenterSnap_REPO/data
wget https://tri-robotics-public.s3.amazonaws.com/centersnap/CAMERA.tar.gz
tar -xzvf CAMERA.tar.gz
wget https://tri-robotics-public.s3.amazonaws.com/centersnap/Real.tar.gz
tar -xzvf Real.tar.gz
Struktur direktori data harus mengikuti:
data
├── CAMERA
│ ├── train
│ └── val_subset
├── Real
│ ├── train
└── └── test
./runner.sh net_train.py @configs/net_config.txtCatatan bahwa runner.sh sama dengan menggunakan python untuk menjalankan skrip. Selain itu, ini mengatur Jalur Lingkungan PYTHONPATH dan CenterSnap secara otomatis.
./runner.sh net_train.py @configs/net_config_real_resume.txt --checkpoint p ath t o b est c heckpoint
Unduh subset kecil NOCS Real dari [di sini]
./runner.sh inference/inference_real.py @configs/net_config.txt --data_dir path_to_nocs_test_subset --checkpoint checkpoint_path_here Anda akan melihat visualisasi yang disimpan di results/CenterSnap . Ubah --ouput_path di *config.txt untuk menyimpannya ke folder lain
Kami menyediakan model terlatih untuk pembuat enkode otomatis bentuk yang akan digunakan dalam pengumpulan dan inferensi data. Meskipun basis kode kami tidak memerlukan pelatihan pembuat enkode otomatis bentuk secara terpisah, jika Anda ingin melakukannya, kami menyediakan skrip tambahan di bawah external/shape_pretraining
1. Saya tidak mendapatkan performa yang baik pada gambar kamera khusus saya, misalnya Realsense, OAK-D, atau lainnya.
2. Cara menghasilkan hasil zero-shot yang bagus pada kamera robot HSR:
3. Saya no cuda GPUs available saat menjalankan colab.
Make sure that you have enabled the GPU under Runtime-> Change runtime type!
4. Saya mendapat raise RuntimeError('received %d items of ancdata' % RuntimeError: received 0 items of ancdata
uimit -n 2048 5. Saya mendapatkan RuntimeError: CUDA error: no kernel image is available for execution on the device atau You requested GPUs: [0] But your machine only has: []
Menginstal cuda 10.2 dan menjalankan skrip yang sama di persyaratan.txt
Menginstal versi pytorch cuda yang relevan yaitu mengubah baris ini di persyaratan.txt
torch==1.7.1
torchvision==0.8.2
6. Saya melihat metrik val nol di tongkat sihir
Pekerjaan ECCV tindak lanjut kami:
Karya lanjutan lainnya (Berteriaklah kepada penulis atas karya hebatnya):
