ManipLLM

ManipLLM

La base de code officielle de ManipLLM : Modèle de langage étendu multimodal incorporé pour la manipulation robotique centrée sur l'objet (CVPR 2024)

Reconnaissance

Ce dépôt bénéficie de LLama_Adapter et Where2act. Merci pour leurs merveilleux travaux.

Installation

1. conda create --name manipllm python=3.8

2. conda active le manipllm

3. pip install -r exigences.txt

Collecte de données

• Collectez vous-même des données : téléchargez l'urdf de mobilité partnet depuis son site officiel et placez-le sous ./ManipLLM/data_collection/asset.

  ./asset/original_sapien_dataset
    ├── 148
    |   └── mobility.urdf
    ├── 149
    |   └── mobility.urdf
    ├── ...
    │   ...
    └── ...
  
  cd ./ManipLLM/data_collection/code
  
  bash scripts/run_gen_offline_data.sh
  

Cette commande générera d’abord l’ensemble de données d’entraînement, puis générera l’ensemble de données de test.

Formation sur modèle

• Préparation:

  Téléchargez les points de contrôle pour CLIP, LLaMa-Adapter. Les points de contrôle téléchargés doivent être placés sous /ManipLLM/train/ckpts. Obtenez les poids du squelette LLaMA en utilisant ce formulaire. Veuillez noter que les points de contrôle provenant de sources non officielles (par exemple, BitTorrent) peuvent contenir du code malveillant et doivent être utilisés avec précaution. Organisez les points de contrôle téléchargés dans la structure suivante :

   ./ckpts/llama_model_weights
  ├── 7B
  │   ├── checklist.chk
  │   ├── consolidated.00.pth
  │   └── params.json
  └── tokenizer.model
  ./ckpts/BIAS_LORA_NORM-336-Chinese-7B.pth
  ./ckpts/ViT-L-14-336px.pt
  

• Formation sur le modèle : la formation nécessite que le serveur dispose d'au moins 40 g de mémoire. La commande générera d'abord le json d'entraînement, puis lancera l'entraînement

   cd ./ManipLLM/train
  
  bash finetune.sh
  

Test de modèle

• Le code public ne fait que déduire l'invite finale sans chaîne de pensée, prédisant directement la pose.

• N'oubliez pas d'ajouter également les points de contrôle de CLIP, [LLaMa] (identique au processus de formation) et LLaMa-Adapter sous /ManipLLM/test/ckpts.

• Nous libérons le point de contrôle : checkpoint-9-ori.pth. Notez qu'en raison du caractère aléatoire de la collecte de données, l'ensemble de données de test fourni est différent de ceux sur papier, vous pouvez donc obtenir des résultats légèrement différents mais comparables par rapport aux résultats sur papier. Téléchargez le point de contrôle-9-ori publié ou utilisez votre propre point de contrôle formé. Le lien que nous fournissons est le lien de téléchargement Baiduyun. Si vous avez besoin d'un lien de téléchargement Google Drive, envoyez votre compte Google par e-mail à [email protected], nous partagerons ensuite le lien avec vous. N'oubliez pas de remplacer la ligne 5 dans test.sh par le répertoire dans lequel vous avez placé les ckpts.

• Téléchargez NOS données de test ou collectez vous-même les données de test. Le dossier « test_data » téléchargé doit être décompressé sous /ManipLLM/data_collection/data. Téléchargez l'urdf de mobilité partnet depuis son site officiel et placez-le sous /ManipLLM/data_collection/asset.

• Les tests nécessitent que le serveur dispose d'au moins 40 Go de mémoire. Cette commande utilisera d'abord le modèle pour déduire sur tous les échantillons de test, puis interagira avec l'objet dans le simulateur (SAPIEN).

   cd ./ManipLLM/test
  
  bash test.sh