法师艾
0.9.75
赋予您的数据团队神奇的力量。
Mage 是一个用于转换和集成数据的混合框架。它结合了两全其美:笔记本电脑的灵活性和模块化代码的严谨性。
从第三方源提取并同步数据。
使用 Python、SQL 和 R 通过实时和批量管道转换数据。
使用我们预先构建的连接器将数据加载到您的数据仓库或数据湖中。
运行、监控和编排数千条管道,无需失眠。
加上数百个企业级功能、基础设施创新和神奇的惊喜。
对于团队来说。用于集成和转换数据的完全托管平台。 | 自托管。用于构建、运行和管理数据管道的系统。 |
有关入门、如何开发以及如何部署到生产的文档请查看实时文档
开发人员文档门户。
安装最新版本 Mage 的推荐方法是通过 Docker 使用以下命令:
docker pull mageai/mageai:最新
您还可以使用 pip 或 conda 安装 Mage,但这可能会在没有适当环境的情况下导致依赖问题。
pip 安装 mage-ai
conda 安装-c conda-forge mage-ai
寻求帮助?最快的入门方法是在此处查看我们的文档。
正在寻找快速示例?直接在浏览器中打开演示项目或查看我们的指南。
使用我们的演示应用程序构建并运行数据管道。
警告
现场演示对所有人公开,请不要保存任何敏感内容(例如密码、机密等)。
点击图片即可播放视频
编排 | 通过可观察性来安排和管理数据管道。 | |
笔记本 | 用于编码数据管道的交互式 Python、SQL 和 R 编辑器。 | |
数据集成 | 将数据从第三方源同步到您的内部目的地。 | |
流媒体管道 | 摄取并转换实时数据。 | |
丁二烯酸 | 使用 Mage 构建、运行和管理您的 dbt 模型。 |
跨 3 个文件定义的示例数据管道 ➝
加载数据➝
@data_loaderdef load_csv_from_file() -> pl.DataFrame:return pl.read_csv('default_repo/titanic.csv')
转换数据➝
@transformerdef select_columns_from_df(df: pl.DataFrame, *args) -> pl.DataFrame:return df[['年龄', '票价', '幸存']]
导出数据➝
@data_exporterdef export_titanic_data_to_disk(df: pl.DataFrame) -> 无:df.to_csv('default_repo/titanic_transformed.csv')