ManipLLM

ManipLLM

Basis kode resmi untuk ManipLLM: Model Bahasa Besar Multimodal Terwujud untuk Manipulasi Robot Berpusat Objek (CVPR 2024)

Pengakuan

Repo ini mendapat manfaat dari LLama_Adapter dan Where2act. Terima kasih atas karya luar biasa mereka.

Pengaturan

1. conda buat --nama manipllm python=3.8

2. conda aktifkan manipulasi

3. instalasi pip -r persyaratan.txt

Pengumpulan Data

• Kumpulkan data Anda sendiri: Unduh urdf mobilitas partnet dari situs resminya dan letakkan di bawah ./ManipLLM/data_collection/asset.

  ./asset/original_sapien_dataset
    ├── 148
    |   └── mobility.urdf
    ├── 149
    |   └── mobility.urdf
    ├── ...
    │   ...
    └── ...
  
  cd ./ManipLLM/data_collection/code
  
  bash scripts/run_gen_offline_data.sh
  

Perintah ini pertama-tama akan menghasilkan kumpulan data pelatihan dan kemudian menghasilkan kumpulan data pengujian.

Pelatihan Model

• Persiapan:

  Unduh pos pemeriksaan untuk CLIP, Adaptor LLaMa. Pos pemeriksaan yang diunduh harus ditempatkan di /ManipLLM/train/ckpts. Dapatkan bobot tulang punggung LLaMA menggunakan formulir ini. Harap dicatat bahwa pos pemeriksaan dari sumber tidak resmi (misalnya BitTorrent) mungkin berisi kode berbahaya dan harus digunakan dengan hati-hati. Atur pos pemeriksaan yang diunduh dalam struktur berikut:

   ./ckpts/llama_model_weights
  ├── 7B
  │   ├── checklist.chk
  │   ├── consolidated.00.pth
  │   └── params.json
  └── tokenizer.model
  ./ckpts/BIAS_LORA_NORM-336-Chinese-7B.pth
  ./ckpts/ViT-L-14-336px.pt
  

• Pelatihan model: Pelatihan ini mengharuskan server memiliki memori minimal 40g. Perintah tersebut pertama-tama akan menghasilkan json pelatihan, kemudian memulai pelatihan

   cd ./ManipLLM/train
  
  bash finetune.sh
  

Pengujian Model

• Kode publik hanya menyimpulkan perintah terakhir tanpa rangkaian pemikiran, memprediksi pose secara langsung.

• Ingatlah untuk menambahkan pos pemeriksaan CLIP, [LLaMa] (sama dengan proses dalam pelatihan), dan Adaptor LLaMa di bawah /ManipLLM/test/ckpts juga.

• Kami melepaskan pos pemeriksaan: checkpoint-9-ori.pth. Perhatikan bahwa, karena keacakan dalam pengumpulan data, kumpulan data pengujian yang disediakan berbeda dengan yang ada di kertas, sehingga Anda mungkin mendapatkan hasil yang sedikit berbeda namun sebanding dibandingkan dengan hasil di kertas. Unduh checkpoint-9-ori yang dirilis atau gunakan checkpoint terlatih Anda sendiri. Link yang kami sediakan adalah link download baiduyun. Jika anda membutuhkan link download google drive, kirimkan akun google anda melalui email ke [email protected], selanjutnya kami akan membagikan link tersebut kepada anda. Ingatlah untuk mengubah line5 di test.sh ke direktori tempat Anda menempatkan ckpts.

• Unduh data pengujian KAMI atau kumpulkan data pengujian Anda sendiri. Folder 'test_data' yang diunduh harus diekstrak di bawah /ManipLLM/data_collection/data. Unduh urdf mobilitas partnet dari situs resminya dan letakkan di bawah /ManipLLM/data_collection/asset.

• Pengujian mengharuskan server memiliki memori minimal 40g. Perintah ini pertama-tama akan menggunakan model untuk menyimpulkan semua sampel pengujian, dan kemudian berinteraksi dengan objek di simulator (SAPIEN).

   cd ./ManipLLM/test
  
  bash test.sh