Lanceur de framework NeMo
24.07
Important
NeMo Framework Launcher est compatible uniquement avec NeMo version 1.0.
Le NeMo Framework Launcher est un outil cloud natif permettant de lancer des tâches de formation NeMo Framework de bout en bout.
Veuillez vous référer au Guide du lanceur NeMo pour plus d'informations.
Le framework NeMo se concentre sur la formation de modèles de base pour les modèles d'IA génératifs. La pré-formation des grands modèles de langage (LLM) nécessite généralement beaucoup de calcul et de parallélisme des modèles pour faire évoluer efficacement la formation. NeMo Framework comprend les dernières techniques de formation à grande échelle, notamment :
La formation du modèle NeMo Framework s'étend à des milliers de GPU et peut être utilisée pour former des LLM sur des milliards de jetons.
Le Launcher est conçu pour être un outil simple et facile à utiliser pour lancer des tâches de formation NeMo FW sur des CSP ou des clusters sur site. Le lanceur est généralement utilisé à partir d’un nœud principal et ne nécessite qu’une installation minimale de Python.
Le lanceur générera et lancera des scripts de soumission pour le planificateur de cluster et organisera et stockera également les résultats des tâches. Les fichiers de configuration testés sont inclus avec le lanceur, mais tout ce qui se trouve dans un fichier de configuration peut être facilement modifié par l'utilisateur.
Le lanceur NeMo FW est testé avec le conteneur NeMo FW qui peut être demandé ici. L'accès est automatique. Les utilisateurs peuvent également facilement configurer le lanceur pour utiliser n'importe quelle image de conteneur qu'ils souhaitent fournir.
Le lanceur NeMo FW prend en charge :
Certains des modèles que nous prenons en charge incluent :
Voir la matrice des fonctionnalités pour plus de détails.
Le NeMo Framework Launcher doit être installé sur un nœud principal ou une machine locale dans un environnement Python virtuel.
git clone https://github.com/NVIDIA/NeMo-Framework-Launcher.git
cd NeMo-Framework-Launcher
pip install -r requirements.txtLa meilleure façon de démarrer avec NeMo Framework Launcher est de parcourir les Playbooks NeMo Framework.
Une fois que tout est configuré dans les fichiers .yaml , le Launcher peut être exécuté avec :
python main.py Étant donné que le lanceur utilise Hydra, toute configuration peut être remplacée directement dans le fichier .yaml ou via la ligne de commande. Voir la grammaire de remplacement d'Hydra pour plus d'informations.
Les contributions sont les bienvenues !
Pour contribuer au NeMo Framework Launcher, créez simplement une pull request avec les modifications sur GitHub. Une fois que la demande d'extraction a été examinée par un développeur NeMo FW, approuvée et réussie les tests unitaires et CI, elle sera fusionnée.
Le NeMo Framework Launcher est sous licence Apache 2.0.
