dynalang

Apprendre à modéliser le monde avec le langage

Ce référentiel contient le code de l'article Apprendre à modéliser le monde avec le langage. Nous présentons Dynalang, un agent qui exploite divers types de langage pour résoudre des tâches en utilisant le langage pour prédire l'avenir via un modèle mondial multimodal.

Pour plus d’informations, consultez :

• Site du projet
• Papier

Commencer

Installer les dépendances :

 pip install -e .

? AccueilGrille

Installez l'environnement HomeGrid et exécutez l'exemple de script de formation avec le nom de la tâche ( homegrid_task , homegrid_future , homegrid_dynamics ou homegrid_corrections ) :

pip install homegrid
sh scripts/run_homegrid.sh homegrid_task EXP_NAME GPU_IDS SEED

? Messager

1. Installez les dépendances pour l'environnement Messenger :

sudo apt-get install 
  libsdl-image1.2-dev libsdl-mixer1.2-dev libsdl-ttf2.0-dev 
  libsdl1.2-dev libsmpeg-dev subversion libportmidi-dev ffmpeg 
  libswscale-dev libavformat-dev libavcodec-dev libfreetype6-dev

2. Clonez l'environnement Messenger et installez-le :

git clone https://github.com/ahjwang/messenger-emma 
pip install -e messenger-emma

3. Téléchargez les phrases pré-intégrées depuis Google Drive et placez le fichier pkl dans dynalang/embodied/envs/data .

4. Exécutez l'exemple de script de formation pour s1, s2 ou s3 :

sh scripts/run_messenger_s1.sh EXP_NAME GPU_IDS SEED

? VLN

1. Installez les dépendances pour VLN. Étant donné que VLN-CE dépend d'une ancienne version du simulateur Habitat, nous fournissons un fichier conda yml avec des versions de dépendances épinglées et vous recommandons d'installer la même version de JAX.

conda create -n dynalang-vln python=3.8
pip install " jax[cuda11_cudnn82]==0.4.8 " -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
pip install torch torchvision
conda env update -f env_vln.yml
conda install -c aihabitat -c conda-forge habitat-sim=0.1.7 headless

2. Clonez nos forks VLN-CE et habitat-lab dans ce dépôt de projet :

git clone https://github.com/jlin816/VLN-CE VLN_CE
git clone https://github.com/jlin816/habitat-lab habitat_lab

3. Téléchargez les données Matterport3D dans le répertoire VLN-CE (nécessite Python 2.7) : instructions supplémentaires

conda create -n py27 python=2.7
conda activate py27
python scripts/download_mp.py --task habitat -o VLN_CE/data/scene_datasets/mp3d/
cd VLN_CE/data/scene_datasets
unzip mp3d/v1/tasks/mp3d_habitat.zip
conda deactivate

Les scènes doivent maintenant être renseignées dans des répertoires sous VLN_CE/data/scene_datasets/mp3d/{scene_dir}/... .

4. Télécharger le jeu de données Room-to-Room dans le répertoire VLN_CE : instructions supplémentaires

mkdir -p VLN_CE/data/datasets
cd VLN_CE/data/datasets
gdown https://drive.google.com/uc ? id=1kQ_at68wiK2vAmlWbjJ4EDrLtaM0nfkR
unzip R2R_VLNCE_v1-3_preprocessed.zip

5. Téléchargez les phrases pré-intégrées depuis Google Drive et placez le fichier pkl dans dynalang/embodied/envs/data .

6. Exécutez l'exemple de script de formation :

sh scripts/run_vln.sh EXP_NAME GPU_IDS SEED

LangRoom

LangRoom doit être exécuté à partir de la branche langroom , qui contient des modifications pour prendre en charge l'espace d'action du dictionnaire de LangRoom pour se déplacer et parler simultanément. Installez l'environnement LangRoom et exécutez l'exemple de script de formation :

git checkout langroom
pip install langroom
sh run_langroom.sh EXP_NAME GPU_IDS SEED

? Pré-formation et mise au point du texte

Installez des dépendances supplémentaires et exécutez l'exemple de script de formation pour vous entraîner sur TinyStories. Par défaut, le script initialise un modèle avec l'espace d'observation et d'action de la tâche Messenger S2 et surveille la perte sur un tampon de relecture pendant l'entraînement. Vous devrez transmettre un chemin vers le répertoire .../episodes/ (contenant les morceaux .npz ) d'un ancien agent Messenger S2 si vous souhaitez faire de même.

pip install datasets
sh scripts/pretrain_text.sh EXP_NAME GPU_IDS SEED roneneldan/TinyStories /PATH/TO/EVAL/REPLAY/EPISODES

Pour charger un modèle mondial pré-entraîné dans un agent à des fins de réglage, exécutez le script d'entraînement avec les indicateurs suivants ( load_wm_ckpt charge uniquement les poids du modèle mondial et initialise le reste de l'agent à partir de zéro) :

python dynalang/train.py 
  --load_wm_ckpt True 
  --run.from_checkpoint /path/to/pretraining/checkpoint.pkl 
  ...

Conseils de configuration de la formation

• Notez que pour utiliser les mêmes tailles de lots que dans l'article, vous devrez peut-être utiliser plusieurs GPU. Pour ce faire, exécutez le script avec une liste d'ID GPU et spécifiez en outre quels GPU doivent être utilisés pour entraîner le modèle mondial et exécuter la politique (par exemple sh run_messenger_s3.sh EXP_NAME 0,1,2,3 SEED --jax.train_devices 0,1,2,3 --jax.policy_devices 0 .
• Vous souhaiterez peut-être utiliser le script parallel pour accélérer la formation. Voir scripts/run_vln.sh pour un exemple.

Remerciements

Ce dépôt est adapté de DreamerV3.

Citation

 @article{lin2023learning,
         title={Learning to Model the World with Language},
         author={Jessy Lin and Yuqing Du and Olivia Watkins and Danijar Hafner and Pieter Abbeel and Dan Klein and Anca Dragan},
         year={2023},
         eprint={2308.01399},
         archivePrefix={arXiv},
}