NeMo Framework Launcher
24.07
Wichtig
NeMo Framework Launcher ist nur mit NeMo Version 1.0 kompatibel.
Der NeMo Framework Launcher ist ein cloudnatives Tool zum Starten von End-to-End-Schulungsjobs für das NeMo Framework.
Weitere Informationen finden Sie im NeMo Launcher-Handbuch.
Das NeMo Framework konzentriert sich auf das Grundlagenmodelltraining für generative KI-Modelle. Das Vortraining großer Sprachmodelle (LLM) erfordert in der Regel viel Rechenleistung und Modellparallelität, um das Training effizient zu skalieren. NeMo Framework umfasst die neuesten groß angelegten Schulungstechniken, darunter:
Das NeMo Framework-Modelltraining lässt sich auf Tausende von GPUs skalieren und kann zum Training von LLMs auf Billionen von Tokens verwendet werden.
Der Launcher ist als einfaches und benutzerfreundliches Tool zum Starten von NeMo FW-Trainingsjobs auf CSPs oder On-Prem-Clustern konzipiert. Der Launcher wird normalerweise von einem Hauptknoten aus verwendet und erfordert nur eine minimale Python-Installation.
Der Launcher generiert und startet Übermittlungsskripts für den Cluster-Scheduler und organisiert und speichert außerdem Jobergebnisse. Getestete Konfigurationsdateien sind im Launcher enthalten, aber alles in einer Konfigurationsdatei kann vom Benutzer problemlos geändert werden.
Der NeMo FW Launcher wird mit dem NeMo FW Container getestet, der hier beantragt werden kann. Der Zugriff erfolgt automatisch. Benutzer können den Launcher auch einfach so konfigurieren, dass er jedes Container-Image verwendet, das sie bereitstellen möchten.
Der NeMo FW Launcher unterstützt:
Zu den von uns unterstützten Modellen gehören:
Weitere Einzelheiten finden Sie in der Funktionsmatrix.
Der NeMo Framework Launcher sollte auf einem Hauptknoten oder einer lokalen Maschine in einer virtuellen Python-Umgebung installiert werden.
git clone https://github.com/NVIDIA/NeMo-Framework-Launcher.git
cd NeMo-Framework-Launcher
pip install -r requirements.txtDer beste Einstieg in den NeMo Framework Launcher ist die Lektüre der NeMo Framework Playbooks
Nachdem alles in den .yaml Dateien konfiguriert ist, kann der Launcher ausgeführt werden mit:
python main.py Da der Launcher Hydra verwendet, kann jede Konfiguration direkt in der .yaml Datei oder über die Befehlszeile überschrieben werden. Weitere Informationen finden Sie in Hydras Override-Grammatik.
Beiträge sind willkommen!
Um zum NeMo Framework Launcher beizutragen, erstellen Sie einfach eine Pull-Anfrage mit den Änderungen auf GitHub. Nachdem die Pull-Anfrage von einem NeMo FW-Entwickler überprüft, genehmigt und die Unit- und CI-Tests bestanden wurde, wird sie zusammengeführt.
Der NeMo Framework Launcher ist unter der Apache 2.0-Lizenz lizenziert
