STEVE 1

STEVE-1 : un modèle génératif pour le texte en comportement dans Minecraft

Shalev Lifshitz*, Keiran Paster*, Harris Chan†, Jimmy Ba, Sheila McIlraith

Page du projet | ArXiv | PDF

Abstrait

Construire des modèles d’IA qui répondent aux instructions textuelles est un défi, en particulier pour les tâches de prise de décision séquentielle. Ce travail présente une méthodologie, inspirée de unCLIP, pour ajuster les modèles de comportement génératifs sans s'appuyer sur un vaste ensemble de données de trajectoires étiquetées par des instructions. En utilisant cette méthodologie, nous créons un modèle de pré-entraînement vidéo (VPT) adapté aux instructions appelé STEVE-1, qui peut suivre du texte ouvert à court terme et des instructions visuelles dans Minecraft™. STEVE-1 est formé en deux étapes : adapter le modèle VPT pré-entraîné pour suivre les commandes dans l'espace latent de MineCLIP, puis entraîner un avant pour prédire les codes latents à partir du texte. Cela nous permet d'affiner le VPT grâce au clonage comportemental auto-supervisé et au réétiquetage a posteriori, réduisant ainsi le besoin d'annotations de texte humaines coûteuses, et le tout pour seulement 60 $ de calcul. En tirant parti de modèles pré-entraînés tels que VPT et MineCLIP et en employant les meilleures pratiques de génération d'images conditionnées par du texte, STEVE-1 établit une nouvelle barre pour le suivi d'instructions ouvert dans Minecraft avec des commandes de bas niveau (souris et clavier) et des entrées de pixels brutes, surpassant de loin les références précédentes et accomplissant avec robustesse 12 des 13 tâches de notre suite d’évaluation de début de partie. Nous fournissons des preuves expérimentales mettant en évidence les facteurs clés de la performance en aval, notamment la pré-formation, le guidage sans classificateur et la mise à l'échelle des données. Toutes les ressources, y compris nos poids de modèle, nos scripts de formation et nos outils d'évaluation, sont mis à disposition pour des recherches plus approfondies.

Structure du répertoire :

 .
├── README.md
├── steve1
│   ├── All agent, dataset, and training code.
├── run_agent
│   ├── Scripts for running the agent.
├── train
│   ├── Script for training the agent and generating the dataset.

Essayez STEVE-1

Installation

Installer l'environnement

Nous recommandons d'exécuter sous Linux en utilisant un environnement conda, avec python 3.10.

1. Installez PyTorch 2.0 : conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
2. Installez MineDojo et MineCLIP : pip install minedojo git+https://github.com/MineDojo/MineCLIP
   • Voir Installation de MineDojo pour plus de détails, tels que la configuration de la version Java correcte.
3. Installez MineRL : pip install git+https://github.com/minerllabs/[email protected]
   • Voir Installation de MineRL pour plus de détails sur la configuration de MineRL.
4. Configuration requise pour l'installation du VPT : pip install gym==0.19 gym3 attrs opencv-python
   • Remarque : au moment de la rédaction, MineDojo et VPT nécessitent des versions différentes de Gym. Veuillez utiliser la version gym requise par VPT (gym==0.19). Si les étapes d'installation sont exécutées dans l'ordre indiqué ici, la version correcte du gymnase sera installée à la fin de l'installation (puisque les exigences VPT sont installées après MineDojo).
5. Installez des exigences supplémentaires : pip install gdown tqdm accelerate==0.18.0 wandb
6. Installez steve1 localement avec : pip install -e .

Fonctionnant sur un serveur sans tête

Si vous utilisez un serveur sans tête, vous devez installer xvfb et exécuter chaque script python avec xvfb-run . Par exemple, xvfb-run python script_name.py .

Notez également que nous utilisons l'environnement MineRL, et non l'environnement MineDojo. Ainsi, définir MINEDOJO_HEADLESS=1 comme mentionné dans les instructions « Installation de MineDojo » n'aura aucun effet.

Téléchargez les données et les poids

Exécutez la commande suivante pour télécharger les données et les pondérations :

 . download_weights.sh

Entraînement

Pour entraîner STEVE-1 à partir de zéro, veuillez exécuter les étapes suivantes :

1. Générez l'ensemble de données de jeu en exécutant : . train/1_generate_dataset.sh
2. Créez un échantillonnage (séparation train/val) en exécutant : . train/2_create_sampling.sh
3. Entraînez l'agent en exécutant : . train/3_train.sh
4. Entraîner le CVAE préalable en exécutant : . train/4_train_prior.sh

Générer des vidéos de gameplay

Nous avons fourni deux scripts pour tester l'agent avec des invites différentes. Pour tester vos propres agents formés, veuillez modifier l'argument --in_weights dans les scripts.

1. Courir: . run_agent/1_gen_paper_videos.sh pour générer les vidéos utilisées dans l'article.
2. Courir: . run_agent/2_gen_vid_for_text_prompt.sh pour générer des vidéos pour des invites de texte arbitraires.
3. Courir: . run_agent/3_run_interactive_session.sh pour démarrer une session interactive avec STEVE-1. Cela ne fonctionnera pas en mode sans tête.

Citation papier

Veuillez citer notre article si vous trouvez STEVE-1 utile pour votre recherche :

 @article{lifshitz2023steve1,
      title={STEVE-1: A Generative Model for Text-to-Behavior in Minecraft}, 
      author={Shalev Lifshitz and Keiran Paster and Harris Chan and Jimmy Ba and Sheila McIlraith},
      year={2023},
      eprint={2306.00937},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}