CenterSnap
1.0.0
พื้นที่เก็บข้อมูลนี้เป็นการใช้งาน pytorch ในเอกสารของเรา: 
CenterSnap: การสร้างรูปร่าง 3 มิติแบบหลายวัตถุด้วยช็อตเดียวและการประมาณท่าทางและขนาด 6 มิติตามหมวดหมู่
มูฮัมหมัด ซูแบร์ อิร์ชาด , โธมัส คอลลาร์, ไมเคิล ลาสกี้, เควิน สโตน, ซโซลต์ คิรา
การประชุมนานาชาติเรื่องหุ่นยนต์และระบบอัตโนมัติ (ICRA) ปี 2565
[หน้าโครงการ] [arXiv] [PDF] [วิดีโอ] [โปสเตอร์]
ติดตามงาน ECCV'22:
ShAPO: การแสดงโดยนัยสำหรับรูปร่างหลายวัตถุ ลักษณะที่ปรากฏ และการปรับท่าทางให้เหมาะสม
มูฮัมหมัด ซูไบร์ อิร์ชาด , เซอร์เกย์ ซาคารอฟ, ราเรส อัมบรูส, โธมัส คอลลาร์, ซโซลต์ คิรา, อาเดรียน ไกดอน
การประชุมยุโรปเรื่องคอมพิวเตอร์วิทัศน์ (ECCV) ปี 2022
[หน้าโครงการ] [arXiv] [PDF] [วิดีโอ] [โปสเตอร์]
หากคุณพบว่าพื้นที่เก็บข้อมูลนี้มีประโยชน์ โปรดพิจารณาการอ้างอิง:
@inproceedings{irshad2022centersnap,
title = {CenterSnap: Single-Shot Multi-Object 3D Shape Reconstruction and Categorical 6D Pose and Size Estimation},
author = {Muhammad Zubair Irshad and Thomas Kollar and Michael Laskey and Kevin Stone and Zsolt Kira},
journal = {IEEE International Conference on Robotics and Automation (ICRA)},
year = {2022}
}
@inproceedings{irshad2022shapo,
title = {ShAPO: Implicit Representations for Multi-Object Shape Appearance and Pose Optimization},
author = {Muhammad Zubair Irshad and Sergey Zakharov and Rares Ambrus and Thomas Kollar and Zsolt Kira and Adrien Gaidon},
journal = {European Conference on Computer Vision (ECCV)},
year = {2022}
}
สร้างสภาพแวดล้อมเสมือนของ python 3.8 และข้อกำหนดในการติดตั้ง:
cd $CenterSnap_Repo
conda create -y --prefix ./env python=3.8
conda activate ./env/
./env/bin/python -m pip install --upgrade pip
./env/bin/python -m pip install -r requirements.txt ติดตั้ง torch==1.7.1 torchvision==0.8.2 ตามเวอร์ชัน CUDA ของคุณ รหัสถูกสร้างและทดสอบบน cuda 10.2 คำสั่งตัวอย่างในการติดตั้ง torch บน cuda 10.2 มีดังนี้:
pip install torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2การอัปเดตใหม่ : โปรดตรวจสอบสคริปต์ที่แจกจ่ายของ ShAPO งาน ECCV'22 ใหม่ของเรา หากคุณต้องการรวบรวมข้อมูลของคุณเองตั้งแต่ต้นภายในสองสามชั่วโมง สคริปต์แบบกระจายนั้นรวบรวมข้อมูลในรูปแบบเดียวกับที่ CenterSnap กำหนด แม้ว่าจะมีการแก้ไขเล็กน้อยตามที่กล่าวไว้ใน repo นั้น
เราขอแนะนำให้ดาวน์โหลดชุดข้อมูลที่ประมวลผลล่วงหน้าเพื่อฝึกและประเมินโมเดล CenterSnap ดาวน์โหลดและยกเลิกชุดข้อมูล Synthetic (868GB) และ Real (70GB) ไฟล์เหล่านี้ประกอบด้วยการฝึกอบรมและการตรวจสอบความถูกต้องทั้งหมดที่คุณต้องการเพื่อจำลองผลลัพธ์ของเรา
cd $CenterSnap_REPO/data
wget https://tri-robotics-public.s3.amazonaws.com/centersnap/CAMERA.tar.gz
tar -xzvf CAMERA.tar.gz
wget https://tri-robotics-public.s3.amazonaws.com/centersnap/Real.tar.gz
tar -xzvf Real.tar.gz
โครงสร้างไดเร็กทอรีข้อมูลควรเป็นไปตาม:
data
├── CAMERA
│ ├── train
│ └── val_subset
├── Real
│ ├── train
└── └── test
./runner.sh net_train.py @configs/net_config.txtหมายเหตุกว่า runner.sh เทียบเท่ากับการใช้ python เพื่อรันสคริปต์ นอกจากนี้ยังตั้งค่า PYTHONPATH และ CenterSnap Enviornment Path โดยอัตโนมัติ
./runner.sh net_train.py @configs/net_config_real_resume.txt --checkpoint p ath t o b est c heckpoint
ดาวน์โหลดชุดย่อย NOCS Real ขนาดเล็กจาก [ที่นี่]
./runner.sh inference/inference_real.py @configs/net_config.txt --data_dir path_to_nocs_test_subset --checkpoint checkpoint_path_here คุณควรเห็น การแสดงภาพ ที่บันทึกไว้ใน results/CenterSnap เปลี่ยน --ouput_path ใน *config.txt เพื่อบันทึกลงในโฟลเดอร์อื่น
เรามีโมเดลที่ได้รับการฝึกล่วงหน้าสำหรับตัวเข้ารหัสรูปร่างอัตโนมัติเพื่อใช้สำหรับการรวบรวมและการอนุมานข้อมูล แม้ว่าโค้ดเบสของเราจะไม่จำเป็นต้องมีการฝึกตัวเข้ารหัสรูปร่างอัตโนมัติแยกต่างหาก แต่หากคุณต้องการ เราจะจัดเตรียมสคริปต์เพิ่มเติมภายใต้ external/shape_pretraining
1. ฉันไม่ได้รับประสิทธิภาพที่ดีจากภาพจากกล้องที่ฉันกำหนดเอง เช่น Realsense, OAK-D หรืออื่นๆ
2. วิธีสร้างผลลัพธ์ Zero-shot ที่ดีบนกล้องหุ่นยนต์ HSR:
3. ฉัน no cuda GPUs available ขณะใช้งาน colab
Make sure that you have enabled the GPU under Runtime-> Change runtime type!
4. ฉันได้รับ raise RuntimeError('received %d items of ancdata' % RuntimeError: received 0 items of ancdata
uimit -n 2048 5. ฉันได้รับ RuntimeError: CUDA error: no kernel image is available for execution on the device หรือ You requested GPUs: [0] But your machine only has: []
การติดตั้ง cuda 10.2 และเรียกใช้สคริปต์เดียวกันใน Requirement.txt
การติดตั้งเวอร์ชัน pytorch cuda ที่เกี่ยวข้อง เช่น การเปลี่ยนบรรทัดนี้ใน Requirements.txt
torch==1.7.1
torchvision==0.8.2
6. ฉันเห็นค่าเมตริก val เป็นศูนย์ใน wdb
งาน ECCV ติดตามผลของเรา:
ผลงานติดตามผลอื่น ๆ (ขอชื่นชมผู้เขียนสำหรับผลงานที่ยอดเยี่ยม):
