flyte下載 - flyte原始碼下載

flyte

Python

v1.14.0 milestone release

下載

弗萊特

？

Flyte 是一個開源編排器，有助於建立生產級資料和 ML 管道。它是為了可擴展性和可重複性而構建的，並利用 Kubernetes 作為其底層平台。透過Flyte，使用者團隊可以使用Python SDK建置管道，並將其無縫部署在雲端和本地環境中，從而實現分散式處理和高效的資源利用。

建造

使用 Python 或任何其他語言編寫程式碼並利用強大的類型引擎。

部署和擴充

無論是在本地端還是在遠端叢集上，都可以輕鬆執行您的模型。

入門·文檔·資源

快速啟動

安裝Flyte的Python SDK

pip install flytekit

建立工作流程（請參閱範例）
使用以下命令在本地運行它：

pyflyte run hello_world.py hello_world_wf

準備好嘗試 Flyte 集群了嗎？

建立一個新的沙箱集群，作為 Docker 容器運行：

flytectl demo start

現在在叢集上執行您的工作流程：

pyflyte run --remote hello_world.py hello_world_wf

您想查看更多內容但又不想安裝任何東西嗎？

前往 https://sandbox.union.ai/。它允許您從託管的 Jupyter 筆記本中試驗 Flyte 的功能。

準備好生產了嗎？

請參閱部署指南，以了解在不同環境中安裝 Flyte 的說明

教學

在 Flyte 程式碼庫上微調 Code Llama
使用 Horovod 和 Spark 預測銷售額
使用 BLASTX 進行核苷酸序列查詢

特徵

強型別介面：透過使用 Flyte 類型定義資料護欄，在工作流程的每個步驟驗證資料。
任何語言：使用原始容器以任何語言編寫程式碼，或選擇 Python、Java、Scala 或 JavaScript SDK 來開發您的 Flyte 工作流程。
不可變性：不可變執行透過防止執行狀態發生任何變更來幫助確保可重複性。
？資料沿襲：在資料和機器學習工作流程的整個生命週期中追蹤資料的移動和轉換。
映射任務：使用映射任務以最少的配置實現並行程式碼執行。
？多租戶：多個使用者可以共享同一平台，同時維護自己不同的資料和配置。
？動態工作流程：建立靈活且適應性強的工作流程，可根據需要進行更改和發展，從而更輕鬆地回應不斷變化的需求。
⏯️ 在繼續執行之前等待外部輸入。
？分支：根據其他任務或輸入資料產生的靜態或動態資料選擇性地執行工作流程的分支。
？資料視覺化：視覺化資料、監控模型並透過繪圖查看訓練歷史記錄。
FlyteFile & FlyteDirectory ：在本機和雲端儲存之間傳輸檔案和目錄。
️結構化資料集：使用結構化資料集提供的抽象 2D 表示在類型之間轉換資料幀並強制執行列級類型檢查。
?️從失敗中恢復：僅恢復失敗的任務。
？重新執行單一任務：以最精細的層級重新執行工作流程，而不修改資料/ML 工作流程的先前狀態。
？快取輸出：透過將cache=True傳遞給任務裝飾器來快取任務輸出。
任務內檢查點：任務執行中的檢查點進度。
⏰超時：定義超時時間，逾時後任務將被標記為失敗。
？開發到產品：就像將網域從開發或暫存更改為生產一樣簡單。
？競價或搶佔式執行個體：透過在任務裝飾器中將interruptible設為True ，在競價執行個體上安排工作流程。
☁️雲端原生部署：在AWS、GCP、Azure等雲端服務上部署Flyte。
？規劃：安排您的資料和機器學習工作流程在特定時間運作。
？通知：透過 Slack、PagerDuty 或電子郵件設定通知，隨時了解工作流程狀態的變更。
⌛️時間軸視圖：評估每個 Flyte 任務的持續時間並識別潛在的瓶頸。
？ GPU 加速：透過在任務裝飾器中要求資源來啟用和控制任務的 GPU 需求。
？透過容器進行依賴項隔離：為您的任務維護單獨的依賴項集，這樣就不會出現依賴項衝突。
？並行性：Flyte 任務本質上是並行的，以優化資源消耗並提高效能。
？在任務層級動態分配資源。

誰在使用 Flyte

與 LinkedIn、Spotify、Freenome、Pachama、華納兄弟等公司一起採用 Flyte 來實現關鍵任務用例。有關採用者的完整列表以及有關如何添加您的組織或項目的信息，請訪問我們的採用者頁面。

如何保持參與

每月社區同步：每月第一個星期二，Flyte 團隊在此處提供專案更新信息，社區成員可以分享他們的進度並提出問題。
Slack：加入 Slack 上的 Flyte 社區，與其他用戶聊天、提出問題並獲得協助。
️時事通訊：加入此群組即可接收 Flyte 每月時事通訊。
？ Youtube：收聽小組討論、客戶成功案例、社群更新和專題深入探討。
？部落格：在這裡，您可以找到教學課程和深入研究功能，以幫助您了解有關 Flyte 的更多資訊。
RFC：RFC 用於提出改進 Flyte 的新想法和功能。您可以參考它們以了解最新動態並為平台的發展做出貢獻。