Simplifine

簡化

超簡單、開源的基於雲端的 LLM 微調

在這裡試試

加入我們的不和諧

在此處取得用於微調的免費 API 金鑰

Simplifine 透過一個簡單的指令簡化了對任何資料集或模型的 LLM 微調，處理所有基礎架構、作業管理、雲端儲存和推理。

特徵

• 基於雲端的輕鬆 LLM 微調：只需一個命令即可微調任何 LLM。

• 無縫雲端整合：直接從雲端自動管理模型的下載、儲存和運行。

• 內建 AI 幫助：獲得有關超參數選擇、合成資料集產生和資料品​​質檢查的協助。

• 設備端到雲端的切換：添加一個簡單的裝飾器以從本地訓練過渡到基於雲端的訓練。

• 自動最佳化：透過 Deepspeed ✅ 和 FDSP ✅ 自動最佳化模型和資料並行化。

• 自訂評估支援：使用內建的 LLM 進行評估功能或匯入您自己的自訂評估指標。

• 社群支援：在 Simplifine Community Discord 上詢問任何支援問題。

• 受到領先機構的信賴：牛津大學的研究實驗室依靠 Simplifine 來滿足其法學碩士微調需求。

---

快速入門

從這裡開始 >

文件

請在 docs.simplifine.com 上找到我們的完整文件。

安裝

從 PyPI 安裝

pip 安裝 simplifine-alpha

您也可以使用以下指令直接從github安裝：

 pip install git+https://github.com/simplifine-llm/Simplifine.git

貢獻

我們正在尋找貢獻者！加入我們的 Discord 上的contributors主題：

執照

Simplifine 已獲得 GNU 通用公共許可證版本 3 的許可。

支援

對於所有功能請求、錯誤和支持，請加入我們的 Discord！

如果您對希望實現的新功能有任何建議，請提出問題 - 我們將努力盡快實現！

如有任何其他問題，請隨時透過[email protected] 與我們聯繫。

更新

v0.0.8

• ？錯誤修復：簡化了程式碼並解決了與訓練器相關的問題，以實現更順暢的操作。

• 新功能：引入了對定義更複雜的配置文件的支持，增強了訓練器的靈活性。

• 文件：新增了新範例，包括有關基於雲端的培訓和建立假新聞偵測器的教學。

• ？更新的文檔：查看 docs.simplifine.com 上的最新文件。

v0.0.71

• ？錯誤修復：修復了導致某些配置載入失敗的問題，確保更廣泛的兼容性。

• 新功能：支援從 Git 直接安裝，並添加了對 Hugging Face API 令牌的支持，允許存取受限模型。

• 文件：更新了範例以反映最新功能。

一般計算注意事項

我們目前支援 DeepSpeed 的 DistributedDataParallel (DDP) 和 ZeRO。

長話短說：

• 當模型適合 GPU 記憶體（包括梯度和激活狀態）時， DDP非常有用。

• 當模型需要跨多個 GPU 進行分片時， ZeRO非常有用。

較長版本：

• DDP ：分散式資料並行 (DDP) 在每個處理器 (GPU) 上建立模型的副本。例如，假設有 8 個 GPU，每個 GPU 饋送一個資料點，這將使批次大小為 8。 DDP 透過並行資料饋送流程來加速訓練。但是，如果副本無法放入 GPU 內存，則 DDP會失敗。請記住，記憶體不僅保存參數，還保存梯度和優化器狀態。

• ZeRO ：ZeRO 是 DeepSpeed 開發的強大優化，分為不同階段（1、2 和 3）。每個階段都劃分訓練過程的不同部分（參數、梯度和激活狀態）。如果模型無法容納在 GPU 記憶體中，這非常有用。 ZeRO 也支援卸載到 CPU，為訓練更大的模型提供更多空間。

範例場景和適當的最佳化方法：

1. 具有 16 位元精度的 LLaMA-3-8b 模型：在 8 個 A100 上使用 ZeRO Stage 3。

2. 帶有 LoRA 轉接器的 LLaMA-3-8b 型號：通常適用於 A100 上的 DDP。

3. 16 位元精度的 GPT-2 ：使用 DDP。

常見問題解答

問題：運行時錯誤：建置擴充功能“cpu_adam”時出錯 python dev

當未安裝python-dev且 ZeRO 使用卸載時會出現此錯誤。要解決此問題，請嘗試：

 # 如果以下失敗，請嘗試 sudo apt-get install python3-dev。

請參閱此連結