データチームに魔法の力を与えましょう。
Mage は、データの変換と統合のためのハイブリッド フレームワークです。これは、ノートブックの柔軟性とモジュラー コードの厳密さという、両方の長所を組み合わせたものです。
サードパーティのソースからデータを抽出して同期します。
Python、SQL、R を使用したリアルタイム パイプラインとバッチ パイプラインでデータを変換します。
事前に構築されたコネクタを使用して、データ ウェアハウスまたはデータ レイクにデータを読み込みます。
睡眠を失うことなく、何千ものパイプラインを実行、監視、調整します。
さらに、何百ものエンタープライズクラスの機能、インフラストラクチャの革新、そして魔法のような驚きが含まれています。
チーム向け。データの統合と変換のためのフルマネージド プラットフォーム。 | 自己ホスト型。データ パイプラインを構築、実行、管理するシステム。 |
開始方法、開発方法、運用環境へのデプロイ方法に関するドキュメントについては、ライブを確認してください。
開発者ドキュメントポータル。
最新バージョンの Mage をインストールする推奨方法は、次のコマンドを使用して Docker を使用することです。
docker pull mageai/mageai:latest
pip または conda を使用して Mage をインストールすることもできますが、適切な環境がないと依存関係の問題が発生する可能性があります。
pip インストール mage-ai
conda install -c conda-forge mage-ai
助けをお探しですか?最も早く始める方法は、こちらのドキュメントを確認することです。
簡単な例をお探しですか?ブラウザでデモ プロジェクトを開くか、ガイドを確認してください。
デモ アプリを使用してデータ パイプラインを構築して実行します。
警告
ライブデモは誰にでも公開されます。機密情報 (パスワード、秘密情報など) は保存しないでください。
画像をクリックするとビデオが再生されます
オーケストレーション | 可観測性を備えたデータ パイプラインをスケジュールおよび管理します。 | |
ノート | データ パイプラインをコーディングするための対話型 Python、SQL、R エディター。 | |
データ統合 | サードパーティのソースから内部の宛先にデータを同期します。 | |
ストリーミングパイプライン | リアルタイム データを取り込んで変換します。 | |
dbt | Mage を使用して dbt モデルを構築、実行、管理します。 |
3 つのファイルにわたって定義されたサンプル データ パイプライン →
データのロード →
@data_loaderdefload_csv_from_file() -> pl.DataFrame:return pl.read_csv('default_repo/titanic.csv')
データの変換 →
@transformerdef select_columns_from_df(df: pl.DataFrame, *args) -> pl.DataFrame:return df[['年齢', '運賃', '生存']]
データのエクスポート →
@data_exporterdef export_titanic_data_to_disk(df: pl.DataFrame) -> なし:df.to_csv('default_repo/titanic_transformed.csv')