ManipLLM

ManipLLM

قاعدة التعليمات البرمجية الرسمية لـ ManipLLM: نموذج لغة كبير متعدد الوسائط للتلاعب الآلي المتمركز حول الكائنات (CVPR 2024)

شكر وتقدير

يستفيد هذا الريبو من LLama_Adapter وWhere2act. شكرا لأعمالهم الرائعة.

يثبت

1. conda create --name manipllm python=3.8

2. كوندا تفعيل manipllm

3. تثبيت النقطة -r متطلبات.txt

جمع البيانات

• اجمع البيانات بنفسك: قم بتنزيل Partnet Mobility urdf من موقعها الرسمي على الويب وضعها ضمن ./ManipLLM/data_collection/asset.

  ./asset/original_sapien_dataset
    ├── 148
    |   └── mobility.urdf
    ├── 149
    |   └── mobility.urdf
    ├── ...
    │   ...
    └── ...
  
  cd ./ManipLLM/data_collection/code
  
  bash scripts/run_gen_offline_data.sh
  

سيقوم هذا الأمر أولاً بإنشاء مجموعة بيانات التدريب ثم إنشاء مجموعة بيانات الاختبار.

التدريب النموذجي

• تحضير:

  قم بتنزيل نقاط التفتيش لـ CLIP، LLaMa-Adapter. يجب وضع نقاط التفتيش التي تم تنزيلها ضمن /ManipLLM/train/ckpts. احصل على أوزان LLaMA الأساسية باستخدام هذا النموذج. يرجى ملاحظة أن نقاط التفتيش من مصادر غير رسمية (مثل BitTorrent) قد تحتوي على تعليمات برمجية ضارة ويجب استخدامها بحذر. تنظيم نقاط التفتيش التي تم تنزيلها في البنية التالية:

   ./ckpts/llama_model_weights
  ├── 7B
  │   ├── checklist.chk
  │   ├── consolidated.00.pth
  │   └── params.json
  └── tokenizer.model
  ./ckpts/BIAS_LORA_NORM-336-Chinese-7B.pth
  ./ckpts/ViT-L-14-336px.pt
  

• تدريب النموذج: يتطلب التدريب أن يكون لدى الخادم ذاكرة لا تقل عن 40 جرامًا. سيقوم الأمر أولاً بإنشاء ملف json للتدريب، ثم يبدأ التدريب

   cd ./ManipLLM/train
  
  bash finetune.sh
  

اختبار النموذج

• يستنتج القانون العام فقط الموجه النهائي دون سلسلة من الأفكار، ويتنبأ بالوضعية بشكل مباشر.

• تذكر إضافة نقاط التحقق الخاصة بـ CLIP، و[LLaMa] (كما هو الحال مع العملية في التدريب)، وLLaMa-Adapter ضمن /ManipLLM/test/ckpts أيضًا.

• نطلق سراح نقطة التفتيش: نقطة التفتيش-9-ori.pth. لاحظ أنه نظرًا للعشوائية في جمع البيانات، تختلف مجموعة بيانات الاختبار المتوفرة عن تلك الموجودة على الورق، لذلك قد تؤدي إلى نتائج مختلفة قليلاً ولكنها قابلة للمقارنة مقارنة بالنتائج الموجودة على الورق. قم بتنزيل نقطة التفتيش 9-ori التي تم إصدارها أو استخدم نقطة التفتيش المدربة الخاصة بك. الرابط الذي نقدمه هو رابط تنزيل Baiduyun. إذا كنت بحاجة إلى رابط تنزيل Google Drive، أرسل حساب Google الخاص بك عبر البريد الإلكتروني إلى [email protected]، ثم سنشارك الرابط معك. تذكر تغيير السطر 5 في test.sh إلى الدليل الذي وضعت فيه ckpts.

• قم بتنزيل بيانات الاختبار الخاصة بنا أو قم بجمع بيانات الاختبار بنفسك. يجب فك ضغط المجلد "test_data" الذي تم تنزيله ضمن /ManipLLM/data_collection/data. قم بتنزيل Partnet Mobility urdf من موقعه الرسمي على الويب وضعه ضمن /ManipLLM/data_collection/asset.

• يتطلب الاختبار أن يحتوي الخادم على ذاكرة تبلغ 40 جرامًا على الأقل. سيستخدم هذا الأمر النموذج أولاً للاستدلال على جميع عينات الاختبار، ثم يتفاعل مع الكائن في جهاز المحاكاة (SAPIEN).

   cd ./ManipLLM/test
  
  bash test.sh