ManipLLM

ManipLLM

Die offizielle Codebasis für ManipLLM: Embodied Multimodal Large Language Model for Object-Centric Robotic Manipulation (CVPR 2024)

Anerkennung

Dieses Repo profitiert von LLama_Adapter und Where2act. Vielen Dank für ihre wunderbaren Arbeiten.

Aufstellen

1. conda create --name manipllm python=3.8

2. Conda aktiviert maniplm

3. pip install -r Anforderungen.txt

Datenerfassung

• Sammeln Sie selbst Daten: Laden Sie partnet Mobility Urdf von der offiziellen Website herunter und platzieren Sie es unter ./ManipLLM/data_collection/asset.

  ./asset/original_sapien_dataset
    ├── 148
    |   └── mobility.urdf
    ├── 149
    |   └── mobility.urdf
    ├── ...
    │   ...
    └── ...
  
  cd ./ManipLLM/data_collection/code
  
  bash scripts/run_gen_offline_data.sh
  

Dieser Befehl generiert zunächst den Trainingsdatensatz und dann den Testdatensatz.

Modelltraining

• Vorbereitung:

  Checkpoints für CLIP, LLaMa-Adapter herunterladen. Die heruntergeladenen Prüfpunkte sollten unter /ManipLLM/train/ckpts abgelegt werden. Erhalten Sie die LLaMA-Backbone-Gewichte mit diesem Formular. Bitte beachten Sie, dass Prüfpunkte aus inoffiziellen Quellen (z. B. BitTorrent) schädlichen Code enthalten können und mit Vorsicht verwendet werden sollten. Organisieren Sie die heruntergeladenen Prüfpunkte in der folgenden Struktur:

   ./ckpts/llama_model_weights
  ├── 7B
  │   ├── checklist.chk
  │   ├── consolidated.00.pth
  │   └── params.json
  └── tokenizer.model
  ./ckpts/BIAS_LORA_NORM-336-Chinese-7B.pth
  ./ckpts/ViT-L-14-336px.pt
  

• Modelltraining: Für das Training muss der Server über mindestens 40 g Speicher verfügen. Der Befehl generiert zunächst den Trainings-JSON und startet dann das Training

   cd ./ManipLLM/train
  
  bash finetune.sh
  

Modelltests

• Der öffentliche Code schließt nur auf die letzte Eingabeaufforderung ohne Gedankenkette und sagt die Pose direkt voraus.

• Denken Sie daran, die Prüfpunkte von CLIP, [LLaMa] (dasselbe gilt für den Prozess im Training) und LLaMa-Adapter auch unter /ManipLLM/test/ckpts hinzuzufügen.

• Wir geben den Checkpoint frei: checkpoint-9-ori.pth. Beachten Sie, dass sich der bereitgestellte Testdatensatz aufgrund der Zufälligkeit bei der Datenerfassung von denen in Papierform unterscheidet, sodass Sie im Vergleich zu den Ergebnissen in Papierform möglicherweise etwas andere, aber vergleichbare Ergebnisse erhalten. Laden Sie den veröffentlichten Checkpoint-9-ori herunter oder verwenden Sie Ihren eigenen trainierten Checkpoint. Der von uns bereitgestellte Link ist ein Baiduyun-Download-Link. Wenn Sie einen Download-Link für Google Drive benötigen, senden Sie Ihr Google-Konto per E-Mail an [email protected], dann teilen wir Ihnen den Link mit. Denken Sie daran, Zeile 5 in test.sh in das Verzeichnis zu ändern, in dem Sie die Cckpts platziert haben.

• Laden Sie UNSERE Testdaten herunter oder sammeln Sie die Testdaten selbst. Der heruntergeladene Ordner „test_data“ sollte unter /ManipLLM/data_collection/data entpackt werden. Laden Sie partnet Mobility Urdf von der offiziellen Website herunter und platzieren Sie es unter /ManipLLM/data_collection/asset.

• Für den Test ist es erforderlich, dass der Server über mindestens 40 g Arbeitsspeicher verfügt. Dieser Befehl verwendet zunächst das Modell, um auf alle Testbeispiele zu schließen, und interagiert dann mit dem Objekt im Simulator (SAPIEN).

   cd ./ManipLLM/test
  
  bash test.sh