Téléchargement DI star - Téléchargement du code source DI star

DI star

Code Source AI

1.0.0

Télécharger

Aperçu

DI-star : une plate-forme de formation distribuée par IA de jeu à grande échelle spécialement développée pour StarCraft II. Nous avons déjà formé un grand maître AI！ Ce projet contient :

Jouez à la démo et testez le code (essayez de jouer avec notre agent !)
Première version d'agent SL et RL pré-entraîné (uniquement Zerg vs Zerg)
Code de formation en apprentissage supervisé et apprentissage par renforcement (mis à jour d'ici le 31/01/2022)
Base de formation avec des ressources limitées (un PC) et conseils de formation ici (Nouveau ! mis à jour le 2022-04-24)
Les agents se sont battus avec Harstem (YouTube) (mis à jour le 01/04/2022)
Agents RL pré-formés (WIP) plus forts

Usage

Logiciel de test sous Windows | 对战软件下载

Veuillez nous mettre en vedette (cliquez sur le bouton en haut à droite de cette page) pour aider les agents DI-star à grandir plus rapidement :)

Installation

Exigence d'environnement :

Python : 3.6-3.8

1.Installez StarCraftII

Téléchargez la version commerciale de StarCraftII : https://starcraft2.com

Remarque : Il n'existe pas de version commerciale sous Linux, veuillez suivre les instructions ici

Ajoutez le chemin d'installation de SC2 aux variables d'environnement SC2PATH (ignorez ceci si vous utilisez le chemin d'installation par défaut sous MacOS ou Windows, qui est C:Program Files (x86)StarCraft II ou /Applications/StarCraft II ) :
- Sous MacOS ou Linux, saisissez ceci dans le terminal :
```
 export SC2PATH= < sc2/installation/path >
```
- Sous Windows :
  1. Cliquez avec le bouton droit sur l'icône Ordinateur et choisissez Propriétés, ou dans le Panneau de configuration Windows, choisissez Système.
  2. Choisissez Paramètres système avancés.
  3. Sous l'onglet Avancé, cliquez sur Variables d'environnement.
  4. Cliquez sur Nouveau pour créer une nouvelle variable d'environnement, définissez SC2PATH comme emplacement d'installation sc2.
  5. Après avoir créé ou modifié la variable d'environnement, cliquez sur Appliquer puis sur OK pour que la modification prenne effet.

2.Installez Distar :

git clone https://github.com/opendilab/DI-star.git
cd DI-star
pip install -e .

3.Installez pytorch :

Pytorch version 1.7.1 et CUDA sont recommandés, suivez les instructions du site officiel de pytorch

Remarque : le GPU est nécessaire pour des performances décentes dans le test d'agent en temps réel, vous pouvez également utiliser pytorch sans cuda, mais aucune performance n'est garantie en raison de la latence d'inférence sur le processeur. Assurez-vous de régler SC2 sur la qualité d'image la plus basse avant de tester.

Jouez avec un agent pré-formé

1. Téléchargez StarCraftII version 4.10.0

Double-cliquez sur le fichier data/replays/replay_4.10.0.SC2Replay, StarCraftII version 4.10.0 sera automatiquement téléchargé.

Remarque : Nous avons entraîné nos modèles avec les versions 4.8.2 à 4.9.3. Le patch 5.0.9 est sorti le 15 mars 2022. Certains changements ont un impact énorme sur les performances, nous corrigeons donc notre version à 4.10.0 en évaluation.

2. Téléchargez les modèles :

python -m distar.bin.download_model --name rl_model

Remarque : Spécifiez rl_model ou sl_model après --name pour télécharger le modèle d'apprentissage par renforcement ou le modèle supervisé.

Liste des modèles :

sl_model : entraînement avec des replays humains, la compétence est égale à celle des joueurs de diamant.
rl_model : utilisé par défaut, entraînement avec apprentissage par renforcement, la compétence est égale à maître ou grand maître.
Abathur : l'un des modèles d'apprentissage par renforcement, aime jouer au mutalisk.
Brakk : un des modèles d'apprentissage par renforcement, comme Lingbane Rush.
Dehaka : l'un des modèles d'apprentissage par renforcement, aime jouer au ravageur de cafards.
Zagara : un des modèles d'apprentissage par renforcement, aime le cafard.

3. Test des agents

Avec le modèle donné, nous proposons plusieurs tests avec notre agent.

Jouez contre l'agent

python -m distar.bin.play

Il exécute 2 instances StarCraftII. Le premier est contrôlé par notre agent RL. Le joueur humain peut jouer sur le second en plein écran comme dans un jeu normal.

Note:

GPU et CUDA sont requis par défaut, ajoutez --cpu si vous ne les avez pas.
Téléchargez d'abord le modèle RL ou spécifiez d'autres modèles (comme le modèle supervisé) avec l'argument --model1 <model_name>
En cas de course, 2 instances de StarCraftII peuvent perdre la connexion et l'agent n'émettra aucune action. Veuillez redémarrer lorsque cela se produit.

Agent contre Agent

python -m distar.bin.play --game_type agent_vs_agent

Il exécute 2 instances StarCraftII toutes deux contrôlées par notre agent RL, spécifiez un autre chemin de modèle avec l'argument --model1 <model_name> --model2 <model_name>

Agent contre robot

python -m distar.bin.play --game_type agent_vs_bot

L'agent RL joue contre un bot d'élite intégré.

Construire votre propre agent avec notre framework

Il est nécessaire de construire différents agents au sein d’une même base de code tout en étant capable de les faire jouer les uns contre les autres. Nous implémentons cela en faisant de l'acteur et de l'environnement des composants communs et en mettant tout ce qui concerne l'agent dans un seul répertoire. L'agent appelé default sous distar/agent en est un exemple. Chaque script par défaut utilise l'importation relative, ce qui les rend portables n'importe où dans leur ensemble.

Si vous souhaitez créer un nouvel agent avec/sans notre agent par défaut, suivez les instructions ici

Si vous souhaitez former un nouvel agent avec notre framework, suivez les instructions ci-dessous et voici un guide avec plus de détails sur l'ensemble du pipeline de formation.

Apprentissage supervisé

Le client StarCraftII est requis pour le décodage en relecture, suivez les instructions ci-dessus.

python -m distar.bin.sl_train --data < path >

path peut être soit un répertoire avec des replays, soit un fichier incluant un chemin de replay à chaque ligne.

En option, séparer le décodage en relecture et la formation du modèle pourrait être plus efficace, exécutez les trois scripts dans différents terminaux :

python -m distar.bin.sl_train --type coordinator
python -m distar.bin.sl_train --type learner --remote
python -m distar.bin.sl_train --type replay_actor --data < path >

Pour une formation distribuée :

python -m distar.bin.sl_train --init_method < init_method > --rank < rank > --world_size < world_size >
or
python -m distar.bin.sl_train --type coordinator
python -m distar.bin.sl_train --type learner --remote --init_method < init_method > --rank < rank > --world_size < world_size >
python -m distar.bin.sl_train --type replay_actor --data < path >

Voici un exemple de formation sur une machine avec 4 GPU en mode distant :

 # Run the following scripts in different terminals (windows).
python -m distar.bin.sl_train --type coordinator
# Assume 4 GPUs are on the same machine. 
# If your GPUs are on different machines, you need to configure the init_mehod's IP for each machine.
python -m distar.bin.sl_train --type learner --remote --init_method tcp://127.0.0.1 --rank 0 --world_size 4
python -m distar.bin.sl_train --type learner --remote --init_method tcp://127.0.0.1 --rank 1 --world_size 4
python -m distar.bin.sl_train --type learner --remote --init_method tcp://127.0.0.1 --rank 2 --world_size 4
python -m distar.bin.sl_train --type learner --remote --init_method tcp://127.0.0.1 --rank 3 --world_size 4
python -m distar.bin.sl_train --type replay_actor --data < path >

Apprentissage par renforcement

L'apprentissage par renforcement utilisera le modèle supervisé comme modèle initial, veuillez d'abord le télécharger, le client StarCraftII est également requis.

1. Entraînement contre les robots dans StarCraftII :

python -m disatr.bin.rl_train

2. Entraînement avec jeu personnel

python -m disatr.bin.rl_train --task selfplay

Quatre composants sont utilisés pour la formation RL, tout comme la formation SL, ils peuvent être exécutés via différents processus :

python -m distar.bin.rl_train --type league --task selfplay
python -m distar.bin.rl_train --type coordinator
python -m distar.bin.rl_train --type learner
python -m distar.bin.rl_train --type actor

La formation distribuée est également prise en charge comme la formation SL.

Groupe de discussion

Slack : lien

Serveur Discord : lien

Citation

@misc{distar,
    title={DI-star: An Open-sourse Reinforcement Learning Framework for StarCraftII},
    author={DI-star Contributors},
    publisher = {GitHub},
    howpublished = { url {https://github.com/opendilab/DI-star}},
    year={2021},
}