NeMo フレームワーク ランチャー

NeMo フレームワーク ランチャー

重要

NeMo Framework Launcher は NeMo バージョン 1.0 とのみ互換性があります。

NeMo Framework Launcher は、エンドツーエンドの NeMo Framework トレーニング ジョブを起動するためのクラウドネイティブ ツールです。

詳細については、NeMo ランチャー ガイドを参照してください。

NeMo フレームワークは、生成 AI モデルの基礎モデルのトレーニングに焦点を当てています。大規模言語モデル (LLM) の事前トレーニングでは、通常、トレーニングを効率的にスケールするために大量の計算とモデルの並列処理が必要です。 NeMo フレームワークには、以下を含む最新の大規模トレーニング手法が含まれています。

• モデルの並列性
  • テンソル
  • パイプライン
  • 順序
• 分散オプティマイザ
• 混合精度トレーニング
  • FP8
  • BF16
• 分散チェックポイント機能
• コミュニティモデル
  • ラマ-2

NeMo フレームワーク モデルのトレーニングは、数千の GPU まで拡張でき、数兆のトークンで LLM をトレーニングするために使用できます。

Launcher は、CSP またはオンプレミス クラスターで NeMo FW トレーニング ジョブを起動するためのシンプルで使いやすいツールになるように設計されています。ランチャーは通常、ヘッド ノードから使用され、最小限の Python インストールのみが必要です。

ランチャーは、クラスター スケジューラーの送信スクリプトを生成して起動し、ジョブの結果を整理して保存します。テスト済みの構成ファイルはランチャーに含まれていますが、構成ファイル内の内容はすべてユーザーが簡単に変更できます。

NeMo FW Launcher は、ここから申請できる NeMo FW Container を使用してテストされます。アクセスは自動です。ユーザーは、提供したいコンテナ イメージを使用するようにランチャーを簡単に構成することもできます。

NeMo FW ランチャーは以下をサポートしています。

• クラスターのセットアップと構成
• データのダウンロード、キュレーション、および処理
• モデル並列構成
• モデルのトレーニング
• モデルの微調整 (SFT および PEFT)
• モデルの評価
• モデルのエクスポートとデプロイメント

当社がサポートするモデルには次のようなものがあります。

• GPT
  • 事前トレーニング、微調整、SFT、PEFT
• バート
• T5/MT5
  • PEFT、環境省（非専門家）

詳細については、機能マトリックスを参照してください。

インストール

NeMo Framework Launcher は、仮想 Python 環境のヘッド ノードまたはローカル マシンにインストールする必要があります。

git clone https://github.com/NVIDIA/NeMo-Framework-Launcher.git
cd NeMo-Framework-Launcher
pip install -r requirements.txt

使用法

NeMo Framework Launcher を使い始める最良の方法は、NeMo Framework Playbook を参照することです。

.yamlファイルですべてを構成したら、次のコマンドを使用して Launcher を実行できます。

python main.py

Launcher は Hydra を使用するため、 .yamlファイル内で直接、またはコマンド ラインを介して構成をオーバーライドできます。詳細については、Hydra のオーバーライド文法を参照してください。

貢献する

貢献は大歓迎です！

NeMo Framework Launcher に貢献するには、GitHub 上で変更を含むプル リクエストを作成するだけです。プル リクエストは NeMo FW 開発者によってレビューされ、承認され、単体テストと CI テストに合格した後、マージされます。

ライセンス

NeMo Framework Launcher は、Apache 2.0 ライセンスに基づいてライセンスされています。