มานิปLLM

มานิปLLM

รหัสฐานอย่างเป็นทางการสำหรับ ManipLLM: โมเดลภาษาขนาดใหญ่หลายรูปแบบที่เป็นตัวเป็นตนสำหรับการจัดการหุ่นยนต์เป็นศูนย์กลางวัตถุ (CVPR 2024)

รับทราบ

repo นี้ได้รับประโยชน์จาก LLama_Adapter และ Where2act ขอบคุณสำหรับผลงานที่ยอดเยี่ยมของพวกเขา

ตั้งค่า

1. conda สร้าง --name manipllm python=3.8

2. conda เปิดใช้งาน manipllm

3. pip ติดตั้ง -r ข้อกำหนด.txt

การรวบรวมข้อมูล

• รวบรวมข้อมูลด้วยตนเอง: ดาวน์โหลด partnet mobility urdf จากเว็บไซต์อย่างเป็นทางการและวางไว้ใต้ ./ManipLLM/data_collection/asset

  ./asset/original_sapien_dataset
    ├── 148
    |   └── mobility.urdf
    ├── 149
    |   └── mobility.urdf
    ├── ...
    │   ...
    └── ...
  
  cd ./ManipLLM/data_collection/code
  
  bash scripts/run_gen_offline_data.sh
  

คำสั่งนี้จะสร้างชุดข้อมูลการฝึกก่อน จากนั้นจึงสร้างชุดข้อมูลการทดสอบ

การฝึกอบรมแบบจำลอง

• การตระเตรียม:

  ดาวน์โหลดจุดตรวจสอบสำหรับ CLIP, LLaMa-Adapter จุดตรวจที่ดาวน์โหลดควรอยู่ใต้ /ManipLLM/train/ckpts รับตุ้มน้ำหนักกระดูกสันหลังของ LLaMA โดยใช้แบบฟอร์มนี้ โปรดทราบว่าจุดตรวจสอบจากแหล่งที่ไม่เป็นทางการ (เช่น BitTorrent) อาจมีโค้ดที่เป็นอันตรายและควรใช้ด้วยความระมัดระวัง จัดระเบียบจุดตรวจที่ดาวน์โหลดมาในโครงสร้างต่อไปนี้:

   ./ckpts/llama_model_weights
  ├── 7B
  │   ├── checklist.chk
  │   ├── consolidated.00.pth
  │   └── params.json
  └── tokenizer.model
  ./ckpts/BIAS_LORA_NORM-336-Chinese-7B.pth
  ./ckpts/ViT-L-14-336px.pt
  

• การฝึกโมเดล: การฝึกต้องการให้เซิร์ฟเวอร์มีหน่วยความจำอย่างน้อย 40g คำสั่งจะสร้าง json การฝึกก่อน จากนั้นจึงเริ่มการฝึก

   cd ./ManipLLM/train
  
  bash finetune.sh
  

การทดสอบแบบจำลอง

• รหัสสาธารณะจะอนุมานเฉพาะข้อความแจ้งสุดท้ายโดยไม่มีห่วงโซ่ความคิด และทำนายท่าทางได้โดยตรง

• อย่าลืมเพิ่มจุดตรวจสอบของ CLIP, [LLaMa](เช่นเดียวกับกระบวนการในการฝึกอบรม) และ LLaMa-Adapter ภายใต้ /ManipLLM/test/ckpts เช่นกัน

• เราปล่อยด่าน: checkpoint-9-ori.pth โปรดทราบว่าเนื่องจากการสุ่มรวบรวมข้อมูล ชุดข้อมูลการทดสอบที่ให้มาจึงแตกต่างจากชุดกระดาษ ดังนั้นคุณอาจได้ผลลัพธ์ที่แตกต่างกันเล็กน้อยแต่สามารถเปรียบเทียบได้เมื่อเปรียบเทียบกับผลลัพธ์ในกระดาษ ดาวน์โหลดจุดตรวจที่ปล่อยออกมา-9-ori หรือใช้จุดตรวจที่ผ่านการฝึกอบรมของคุณเอง ลิงค์ที่เราให้คือลิงค์ดาวน์โหลด baiduyun หากคุณต้องการลิงก์ดาวน์โหลด Google Drive ให้ส่งบัญชี Google ของคุณทางอีเมลไปที่ [email protected] จากนั้นเราจะแชร์ลิงก์กับคุณ อย่าลืมเปลี่ยน line5 ใน test.sh เป็น dir ที่คุณวาง ckpts

• ดาวน์โหลดข้อมูลการทดสอบของเราหรือรวบรวมข้อมูลการทดสอบด้วยตนเอง โฟลเดอร์ 'test_data' ที่ดาวน์โหลดมาควรแตกไฟล์ไว้ใต้ /ManipLLM/data_collection/data ดาวน์โหลด partnet mobility urdf จากเว็บไซต์อย่างเป็นทางการและวางไว้ใต้ /ManipLLM/data_collection/asset

• การทดสอบต้องการให้เซิร์ฟเวอร์มีหน่วยความจำอย่างน้อย 40g คำสั่งนี้จะใช้โมเดลเพื่ออนุมานตัวอย่างทดสอบทั้งหมดก่อน จากนั้นจึงโต้ตอบกับอ็อบเจ็กต์ในเครื่องจำลอง (SAPIEN)

   cd ./ManipLLM/test
  
  bash test.sh