CenterSnap
1.0.0
هذا المستودع هو تطبيق pytorch لورقتنا: 
CenterSnap: إعادة بناء الأشكال ثلاثية الأبعاد لكائنات متعددة بلقطة واحدة وتقدير الوضع والحجم القاطع سداسي الأبعاد
محمد زبير إرشاد ، توماس كولار، مايكل لاسكي، كيفن ستون، زولت كيرا
المؤتمر الدولي للروبوتات والأتمتة (ICRA)، 2022
[صفحة المشروع] [arXiv] [PDF] [فيديو] [ملصق]
متابعة أعمال ECCV'22:
ShAPO: تمثيلات ضمنية لشكل الكائنات المتعددة ومظهرها وتحسين وضعها
محمد زبير إرشاد ، سيرجي زاخاروف، راريس أمبروس، توماس كولار، زولت كيرا، أدريان جيدون
المؤتمر الأوروبي للرؤية الحاسوبية (ECCV)، 2022
[صفحة المشروع] [arXiv] [PDF] [فيديو] [ملصق]
إذا وجدت هذا المستودع مفيدًا، فيرجى مراعاة الاستشهاد بما يلي:
@inproceedings{irshad2022centersnap,
title = {CenterSnap: Single-Shot Multi-Object 3D Shape Reconstruction and Categorical 6D Pose and Size Estimation},
author = {Muhammad Zubair Irshad and Thomas Kollar and Michael Laskey and Kevin Stone and Zsolt Kira},
journal = {IEEE International Conference on Robotics and Automation (ICRA)},
year = {2022}
}
@inproceedings{irshad2022shapo,
title = {ShAPO: Implicit Representations for Multi-Object Shape Appearance and Pose Optimization},
author = {Muhammad Zubair Irshad and Sergey Zakharov and Rares Ambrus and Thomas Kollar and Zsolt Kira and Adrien Gaidon},
journal = {European Conference on Computer Vision (ECCV)},
year = {2022}
}
إنشاء بيئة افتراضية لـ python 3.8 وتثبيت المتطلبات:
cd $CenterSnap_Repo
conda create -y --prefix ./env python=3.8
conda activate ./env/
./env/bin/python -m pip install --upgrade pip
./env/bin/python -m pip install -r requirements.txt قم بتثبيت torch==1.7.1 torchvision==0.8.2 بناءً على إصدار CUDA الخاص بك. تم إنشاء الكود واختباره على cuda 10.2 . نموذج أمر لتثبيت الشعلة على cuda 10.2 هو كما يلي:
pip install torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2تحديث جديد : يرجى مراجعة البرنامج النصي الموزع لعملنا الجديد ECCV'22 ShAPO إذا كنت ترغب في جمع بياناتك الخاصة من البداية في غضون ساعتين. يجمع هذا البرنامج النصي الموزع البيانات بنفس التنسيق الذي يتطلبه CenterSnap ، على الرغم من وجود بعض التعديلات الطفيفة كما هو مذكور في هذا الريبو.
نوصي بتنزيل مجموعة البيانات المعالجة مسبقًا لتدريب نموذج CenterSnap وتقييمه. قم بتنزيل وفك مجموعات البيانات الاصطناعية (868 جيجابايت) والحقيقية (70 جيجابايت). تحتوي هذه الملفات على كل التدريب والتحقق الذي تحتاجه لتكرار نتائجنا.
cd $CenterSnap_REPO/data
wget https://tri-robotics-public.s3.amazonaws.com/centersnap/CAMERA.tar.gz
tar -xzvf CAMERA.tar.gz
wget https://tri-robotics-public.s3.amazonaws.com/centersnap/Real.tar.gz
tar -xzvf Real.tar.gz
يجب أن يتبع هيكل دليل البيانات ما يلي:
data
├── CAMERA
│ ├── train
│ └── val_subset
├── Real
│ ├── train
└── └── test
./runner.sh net_train.py @configs/net_config.txtلاحظ أن runner.sh يعادل استخدام بايثون لتشغيل البرنامج النصي. بالإضافة إلى ذلك، يقوم بإعداد مسار PYTHONPATH وCentreSnap Enviornment Path تلقائيًا.
./runner.sh net_train.py @configs/net_config_real_resume.txt --checkpoint p ath t o b est c heckpoint
قم بتنزيل مجموعة فرعية صغيرة من NOCS Real من [هنا]
./runner.sh inference/inference_real.py @configs/net_config.txt --data_dir path_to_nocs_test_subset --checkpoint checkpoint_path_here يجب أن تشاهد المرئيات المحفوظة في results/CenterSnap . قم بتغيير --ouput_path في *config.txt لحفظها في مجلد مختلف
نحن نقدم نموذجًا مُدربًا مسبقًا للتشفير التلقائي للأشكال لاستخدامه في جمع البيانات والاستدلال. على الرغم من أن قاعدة التعليمات البرمجية الخاصة بنا لا تتطلب تدريبًا منفصلاً على أداة التشفير التلقائي للأشكال، إلا أننا إذا كنت ترغب في القيام بذلك، فإننا نقدم نصوصًا إضافية ضمن التدريب الخارجي/الشكل_السابق
1. لا أحصل على أداء جيد في صور الكاميرا المخصصة، مثل Realsense أو OAK-D أو غيرها.
2. كيفية الحصول على نتائج جيدة بدون لقطة على كاميرا الروبوت HSR:
3. no cuda GPUs available أثناء تشغيل colab.
Make sure that you have enabled the GPU under Runtime-> Change runtime type!
4. لقد تلقيت raise RuntimeError('received %d items of ancdata' % RuntimeError: received 0 items of ancdata
uimit -n 2048 5. أتلقى RuntimeError: CUDA error: no kernel image is available for execution on the device أو You requested GPUs: [0] But your machine only has: []
تثبيت cuda 10.2 وتشغيل نفس البرنامج النصي في ملف require.txt
تثبيت إصدار pytorch cuda ذي الصلة، أي تغيير هذا السطر في ملف require.txt
torch==1.7.1
torchvision==0.8.2
6. أرى مقاييس القيمة الصفرية في wandb
متابعة أعمالنا في ECCV:
أعمال متابعة أخرى (تحية للمؤلفين على العمل الرائع):
