Kedroは、生産対応のデータサイエンスのツールボックスです。ソフトウェアエンジニアリングのベストプラクティスを使用して、再現性があり、保守可能で、モジュール式のデータエンジニアリングとデータサイエンスパイプラインの作成に役立ちます。 kedro.orgで詳細を確認できます。
Kedroは、LF AI&Data FoundationがホストするオープンソースのPythonフレームワークです。
Pythonパッケージインデックス(PYPI)の実行からKedroをインストールするには:
pip install kedro
conda
使用してKedroをインストールすることも可能です。
conda install -c conda-forge kedro
Get Start Guideには、完全なインストール手順が含まれており、Python仮想環境のセットアップ方法が含まれています。
公式リリースの前に最新のKedroバージョンにアクセスするには、 main
ブランチからインストールしてください。
pip install git+https://github.com/kedro-org/kedro@main
特徴 | これは何ですか? |
---|---|
プロジェクトテンプレート | Cookiecutter Data Scienceに基づいた標準の変更可能で使いやすいプロジェクトテンプレート。 |
データカタログ | ローカルおよびネットワークファイルシステム、クラウドオブジェクトストア、HDFなど、さまざまなファイル形式およびファイルシステムでデータを保存およびロードするために使用される一連の軽量データコネクタ。データカタログには、ファイルベースのシステムのデータとモデルバージョンも含まれています。 |
パイプラインの抽象化 | 純粋なPython関数とKedro-Vizを使用したデータパイプラインの視覚化の間の依存関係の自動解像度。 |
コーディング基準 | pytest を使用したテスト駆動型開発は、Sphinxを使用して十分に文書化されたコードを作成し、 ruff をサポートした糸くずのコードを作成し、標準のPythonロギングライブラリを使用します。 |
柔軟な展開 | 単一または分散マシンの展開を含む展開戦略、およびArgo、Chubeflow、AWS Batch、およびDatabricksでの展開に関する追加のサポート。 |
Kedroのドキュメントでは、最初にKedroのインストール方法を説明し、次にKedroの重要な概念を紹介します。
その後、SpaceFlightsチュートリアルを確認して、実践的な体験のためにKedroプロジェクトを構築できます。
新規および中級のKedroユーザーの場合、Kedro-Vizを使用してKedroプロジェクトを視覚化する方法に関する包括的なセクションがあります。
Kedro-Vizを使用して生成されたパイプラインの視覚化
追加のドキュメントでは、KedroおよびJupyterのノートブックを使用する方法について説明します。また、Kedro機能の高度な高度なユーザーガイドのセットがあります。また、詳細については、APIリファレンスドキュメントもお勧めします。
Kedroは、膨大な量の生の無帯性データを持つ現実世界のMLアプリケーションを提供しようとする集合的なベストプラクティス(および間違い)に基づいて構築されています。以下を達成するためにケドロを開発しました。
Jupyterノートブック、1回限りのスクリプト、および接着剤コードの主な欠点に対処するために
さまざまなチームメンバーがソフトウェアエンジニアリングの概念に曝露した場合にチームのコラボレーションを強化する
効率を高めるために、モジュール性や懸念の分離などの概念が再利用可能な分析コードの作成に影響を与えるため
KedroがKedro Webサイトの製品FAQからユースケースにどのように回答するかについては、詳細をご覧ください。
Kedro Productチームと世界中の多くのオープンソースの貢献者がKedroを維持しています。
はい!あらゆる種類の貢献を歓迎します。 Kedroに貢献するためのガイドをご覧ください。
ケドロ周辺には成長しているコミュニティがあります。 Slackに関する技術的な質問をして回答し、過去の議論のリネンアーカイブをブックマークすることをお勧めします。
Kedroドキュメントに技術的なFAQのリストを保持しており、 awesome-kedro
GithubリポジトリでKedroを使用するブログ投稿、ビデオ、プロジェクトのリストを見つけることができます。 Kedroで何かを作成した場合は、リストに含めたいと思います。 PRを作成して追加してください!
あなたがアカデミックである場合、ケドロは、たとえば、再現可能な研究の問題を解決するためのツールとしてもあなたを助けることができます。リポジトリの「このリポジトリを引用」ボタンを使用して、Citation.cffファイルから引用を生成します。
Core Kedro Frameworkは、Cpython Coreチームによって積極的に維持されているすべてのPythonバージョンをサポートしています。 Pythonバージョンが終末期に到達すると、そのバージョンのサポートがKedroから削除されます。これは壊れた変化とは見なされません。
Kedro Datasetsパッケージは、NEP 29 Pythonバージョンサポートポリシーに従います。これは、 kedro-datasets
一般にkedro
前にPythonバージョンのサポートをドロップすることを意味します。これは、 kedro-datasets
NEP 29に続く多くの依存関係があり、Kedroフレームワークのより保守的なバージョンサポートアプローチにより、それらの依存関係を適切に管理することが難しくなっているためです。
私たちはコミュニティに感謝し、つながりを維持したいと考えています。そのために、2週間に1回、ケドロ周辺の更新とクールなものを共有し、質問をしてください。
Kedro Coffee Chat Wikiページで、今後のデモトピックと日付をご覧ください。
Slackアナウンスチャンネルに従って、Kedro Coffee Chatのアナウンスとアクセスデモの録音をご覧ください。