?
Flyte 是一个开源编排器,有助于构建生产级数据和 ML 管道。它是为了可扩展性和可重复性而构建的,利用 Kubernetes 作为其底层平台。借助Flyte,用户团队可以使用Python SDK构建管道,并将其无缝部署在云端和本地环境中,从而实现分布式处理和高效的资源利用。
使用 Python 或任何其他语言编写代码并利用强大的类型引擎。
无论是在本地还是在远程集群上,都可以轻松执行您的模型。
pip install flytekit
pyflyte run hello_world.py hello_world_wf
准备好尝试 Flyte 集群了吗?
flytectl demo start
pyflyte run --remote hello_world.py hello_world_wf
您想查看更多内容但又不想安装任何东西吗?
前往 https://sandbox.union.ai/。它允许您从托管的 Jupyter 笔记本中试验 Flyte 的功能。
准备好生产了吗?
请参阅部署指南,了解在不同环境中安装 Flyte 的说明
强类型接口:通过使用 Flyte 类型定义数据护栏,在工作流程的每个步骤验证数据。
任何语言:使用原始容器以任何语言编写代码,或选择 Python、Java、Scala 或 JavaScript SDK 来开发您的 Flyte 工作流程。
不可变性:不可变执行通过防止执行状态发生任何更改来帮助确保可重复性。
?数据沿袭:在数据和机器学习工作流程的整个生命周期中跟踪数据的移动和转换。
映射任务:使用映射任务以最少的配置实现并行代码执行。
?多租户:多个用户可以共享同一平台,同时维护自己不同的数据和配置。
?动态工作流程:构建灵活且适应性强的工作流程,可以根据需要进行更改和发展,从而更轻松地响应不断变化的需求。
⏯️ 在继续执行之前等待外部输入。
?分支:根据其他任务或输入数据生成的静态或动态数据有选择地执行工作流的分支。
?数据可视化:可视化数据、监控模型并通过绘图查看训练历史记录。
FlyteFile & FlyteDirectory :在本地和云存储之间传输文件和目录。
️结构化数据集:使用结构化数据集提供的抽象 2D 表示在类型之间转换数据帧并强制执行列级类型检查。
?️从失败中恢复:仅恢复失败的任务。
?重新运行单个任务:以最精细的级别重新运行工作流,而不修改数据/ML 工作流的先前状态。
?缓存输出:通过将cache=True
传递给任务装饰器来缓存任务输出。
任务内检查点:任务执行中的检查点进度。
⏰超时:定义超时时间,超时后任务将被标记为失败。
?开发到产品:就像将域从开发或暂存更改为生产一样简单。
?竞价或抢占式实例:通过在任务装饰器中将interruptible
设置为True
,在竞价实例上安排工作流程。
☁️云原生部署:在AWS、GCP、Azure等云服务上部署Flyte。
?计划:安排您的数据和机器学习工作流程在特定时间运行。
?通知:通过 Slack、PagerDuty 或电子邮件配置通知,随时了解工作流程状态的变化。
⌛️时间线视图:评估每个 Flyte 任务的持续时间并识别潜在的瓶颈。
? GPU 加速:通过在任务装饰器中请求资源来启用和控制任务的 GPU 需求。
?通过容器进行依赖项隔离:为您的任务维护单独的依赖项集,这样就不会出现依赖项冲突。
?并行性:Flyte 任务本质上是并行的,以优化资源消耗并提高性能。
?在任务级别动态分配资源。
与 LinkedIn、Spotify、Freenome、Pachama、华纳兄弟等公司一起采用 Flyte 来实现关键任务用例。有关采用者的完整列表以及有关如何添加您的组织或项目的信息,请访问我们的采用者页面。
每月社区同步:每月第一个星期二,Flyte 团队在此处提供项目更新,社区成员可以分享他们的进度并提出问题。
Slack:加入 Slack 上的 Flyte 社区,与其他用户聊天、提出问题并获取帮助。
? Youtube:收听小组讨论、客户成功案例、社区更新和专题深入探讨。
?博客:在这里,您可以找到教程和深入研究功能,以帮助您了解有关 Flyte 的更多信息。
RFC:RFC 用于提出改进 Flyte 的新想法和功能。您可以参考它们以了解最新动态并为平台的发展做出贡献。
参与 Flyte 的方式有多种,包括:
help wanted
或good-first-issue
,并按照贡献指南提交对代码库的更改。Flyte 在 Apache License 2.0 下可用。明智地使用它。