awsome fmops

一些 FMOps

此儲存庫包含 Amazon EKS 上的基礎模型操作 (FMOps) 的參考架構和測試案例。

基礎模型操作 (FMOps) 涵蓋管理基礎模型所涉及的端到端流程，從初始預訓練到部署和監控。此儲存庫旨在展示不同框架在基礎模型生命週期和端到端管道的每個階段的使用情況。具體來說，該儲存庫中的 FMOps 涉及以下四個階段：持續預訓練、微調、評估和部署。以下部分「基礎模型操作的階段」詳細說明了每個階段。該儲存庫的每個子目錄（預先訓練、微調、評估、部署）都包含每個階段的測試案例。

我們的基礎架構是使用 Terraform 部署的。請參閱基礎架構設定指南的部署指南。

基礎模型操作的階段

基礎模型操作 (FMOps) 包含（連續）預訓練、微調、評估和部署基礎模型所涉及的流程和實踐。

1.（連續）預訓練是基礎模型在廣泛且多樣化的資料集上進行訓練以學習常識的初始階段。此階段涉及使用大規模資料來開發可以跨各種任務和領域進行推廣的模型。預訓練過程通常是連續的，這意味著模型會定期使用新資料進行更新以提高其效能。

2. 微調涉及使預先訓練的基礎模型適應特定任務或領域。這個可選階段可以分為兩個子階段：

• 指令調整：此過程涉及完善模型遵循特定指令或提示的能力，透過提供額外的特定任務的資料和指令來增強其在特定任務上的效能。
• 對齊：此子階段確保模型的輸出與期望的行為和道德準則保持一致。它涉及調整模型以減少偏差、提高安全性並確保其滿足應用領域的特定要求。

3. 評估是預訓練和微調之後發生的關鍵階段。它涉及使用標準化基準和指標評估模型的性能。評估有助於追蹤模型的進度、確定需要改進的領域並確保模型符合所需的性能標準。

4. 部署是最後階段，將基礎模型整合到生產環境中。這一階段包括：

• 服務：使模型可在現實應用程式中使用，確保它能夠處理所需的負載並提供及時的回應。
• 監控：持續追蹤模型在生產中的效能和行為，以偵測和解決任何問題，例如效能下降或意外輸出。監控還涉及根據需要更新模型以保持其有效性和相關性。

透過遵循這些階段，組織可以有效地開發、微調、評估和部署基礎模型，確保它們提供高效能並符合預期用例和道德標準。

執照

該庫根據 MIT-0 許可證獲得許可。請參閱許可證文件。