NeMo 框架啟動器

NeMo 框架啟動器

重要的

NeMo Framework Launcher 僅與 NeMo 1.0 版本相容。

NeMo Framework Launcher 是一個雲端原生工具，用於啟動端對端 NeMo Framework 訓練作業。

請參閱 NeMo 啟動器指南以了解更多資訊。

NeMo 框架專注於生成式 AI 模型的基礎模型訓練。大型語言模型 (LLM) 預訓練通常需要大量計算和模型並行性才能有效擴展訓練。 NeMo 框架包含最新的大規模訓練技術，包括：

• 模型平行性
  • 張量
  • 管道
  • 順序
• 分散式最佳化器
• 混合精準訓練
  • FP8
  • BF16
• 分散式檢查點
• 社區模型
  • 駱駝-2

NeMo Framework 模型訓練可擴展到 1000 個 GPU，可用於在數兆個代幣上訓練 LLM。

Launcher 被設計為一個簡單易用的工具，用於在 CSP 或本地叢集上啟動 NeMo FW 訓練作業。啟動器通常從頭節點使用，只需要最少的 python 安裝。

啟動器將為叢集調度程序產生並啟動提交腳本，還將組織和儲存作業結果。啟動器中包含經過測試的設定文件，但使用者可以輕鬆修改設定檔中的任何內容。

NeMo FW Launcher 使用 NeMo FW Container 進行了測試，可以在此處申請。訪問是自動的。使用者還可以輕鬆配置啟動器以使用他們想要提供的任何容器映像。

NeMo FW 啟動器支援：

• 叢集設定和配置
• 資料下載、整理與處理
• 模型並聯配置
• 模型訓練
• 模型微調（SFT 和 PEFT）
• 模型評估
• 模型匯出和部署

我們支持的一些模型包括：

• GPT
  • 預訓練、微調、SFT、PEFT
• 伯特
• T5/MT5
  • PEFT、教育部（非專家）

有關更多詳細信息，請參閱功能矩陣。

安裝

NeMo Framework Launcher 應安裝在虛擬 Python 環境中的頭節點或本機上。

git clone https://github.com/NVIDIA/NeMo-Framework-Launcher.git
cd NeMo-Framework-Launcher
pip install -r requirements.txt

用法

開始使用 NeMo Framework Launcher 的最佳方法是瀏覽 NeMo Framework Playbooks

在.yaml檔案中配置所有內容後，可以使用以下命令執行啟動器：

python main.py

由於啟動器使用 Hydra，因此可以直接在.yaml檔案中或透過命令列覆寫任何設定。有關詳細信息，請參閱 Hydra 的覆蓋語法。

貢獻

歡迎貢獻！

若要為 NeMo Framework Launcher 做出貢獻，只需在 GitHub 上建立包含變更的拉取請求即可。在拉取請求經過 NeMo FW 開發人員審核、批准並通過單元和 CI 測試後，它將合併。

執照

NeMo Framework Launcher 根據 Apache 2.0 許可證獲得許可