hopsworks
3.7.0
Hopsworksは、Python中心の機能ストアとMLOPS機能を備えたMLのデータプラットフォームです。 Hopsworksはモジュール式プラットフォームです。スタンドアロン機能ストアとして使用できます。モデルを管理、管理、提供するために使用できます。また、機能パイプラインやトレーニングパイプラインを開発および操作することもできます。 Hopsworksは、MLチームにコラボレーションをもたらし、MLアセットの開発、管理、および共有のための安全で統治されたプラットフォームを提供します - 機能、モデル、トレーニングデータ、バッチスコアリングデータ、ログなどを提供します。
Hopsworksはサーバーレスアプリとして利用でき、app.hopsworks.aiにアクセスして、 GmailまたはGithubアカウントに登録してください。その後、チュートリアルを実行したり、Hopsworksを直接アクセスして自分で試してみることができます。これは、より高度な用途とインストール要件に飛び込む前に、最初にプラットフォームを体験するための好ましい方法です。
Managed Hopsworksは、CloudでHopsworksと機能ストアを実行するための当社のプラットフォームであり、顧客AWS/Azure/GCP環境と直接統合しています。また、Databricks、Sagemaker、Kubeflowなどのサードパーティのプラットフォームとシームレスに統合します。
Azure、AWS、またはGCP環境でHopsworksを実行したい場合は、次のガイドのいずれかに従ってください。
AWSガイド
Azure Guide
GCPガイド
Hopsworksのオンプレミスを使用することは可能です。つまり、企業はクラウドプロバイダーに依存するのではなく、独自のハードウェアやインフラストラクチャで機械学習ワークロードを実行できます。これにより、柔軟性、制御、コストの節約、および企業が特定のコンプライアンスとセキュリティの要件を満たすことができるようになります。
Hopsworksでの会話での作業には、通常、Hopsworksエンジニアリングチームとのコラボレーションが含まれます。各インフラストラクチャはユニークであり、展開と構成に合わせたアプローチが必要です。このプロセスは、ネットワークトポロジ、セキュリティポリシー、ハードウェア仕様など、当社の既存のインフラストラクチャと要件の評価から始まります。
オンプレミスインストールの詳細については、お問い合わせください。
少なくとも1つのサーバーまたは仮想マシンが必要です。このマシンには、少なくとも次の仕様でHopsworksがインストールされます。
Centos/rhel 8.xまたはubuntu 22.04;
少なくとも32GB RAM、
少なくとも8 cpus、
100 GBの無料のハードディスクスペース、
Sudo特権を持つUNIXユーザーアカウント。
Hopsworksのドキュメントには、ユーザーガイド、機能ストアのドキュメント、管理ガイドが含まれています。また、ユーザーが機能ストアとMLOPの抽象化とロジックをナビゲートするのを支援する概念も含めます。
機能ストア： https：//docs.hopsworks.ai/3.0/concepts/fs/
プロジェクト： https：//docs.hopsworks.ai/3.0/concepts/projects/governance/
mlops： https：//docs.hopsworks.ai/3.0/concepts/mlops/prediction_services/
Hopsworks APIドキュメントは3つのカテゴリに分かれています。 Hopsworks APIはプロジェクトレベルAPIをカバーし、機能ストアAPIは機能グループ、機能ビューとコネクタをカバーし、最後にMLOPS APIはモデルレジストリ、サービング、展開をカバーします。
Hopsworks API -https：//docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/
機能ストアAPI -https：//docs.hopsworks.ai/feature-store-api/3.0/generated/api/connection_api/
mlops api -https：//docs.hopsworks.ai/machine-learning-api/3.0.0/generated/connection_api/
ほとんどのチュートリアルでは、少なくともapp.hopsworks.aiにアカウントを使用する必要があります。専用のhttps://github.com/logicalclocks/hopsworks-tutorialsリポジトリを含むリポジトリを調べたり、既存のユースケースのいずれかに直接ジャンプしたりできます。
詐欺（バッチ）：https：//github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_batch
詐欺（オンライン）：https：//github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_online
チャーン予測https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn
Hopsworksは、チームがMLアセットを協力して共有できる安全なサンドボックスとしてプロジェクトを提供します。 Hopsworksのユニークなマルチテナントプロジェクトモデルでは、プロジェクトの境界を越えてMLアセットに細粒の共有機能を提供しながら、共有クラスターに機密データを保存することもできます。プロジェクトを使用して、チームを構築するために、生データから管理された機能やモデルに至るまで、エンドツーエンドの責任を持つようにします。プロジェクトは、データチームの開発、ステージング、および生産環境の作成にも使用できます。すべてのMLアセットは、バージョン、系統、および出所をサポートしています。すべてのHopsworksユーザーは、機能エンジニアリングからモデルのサービングまで、MLOPSライフサイクルの完全なビューを提供します。
Hopsworksは、Python、Jupyter Notebook、Jobs、さらにはノートブック用のConda Environmentsなど、データサイエンス向けの開発ツールを提供しています。バンドルされたエアフローで生産パイプラインを構築したり、エアフローのノートブックでGPUを使用してMLトレーニングパイプラインを実行することもできます。 Hopsworksクラスターにインストールされているのと同じくらい多くのGPUでモデルをトレーニングし、ユーザー間で簡単に共有できます。また、クラウド内の弾性ワーカーをサポートして、Spark、Spark Streaming、またはFlinkプログラムをHopsworksで実行することもできます（動的にワーカーを追加/削除します）。
Hopsworksは、AWS、Azure、およびGCPのクラウドのマネージドプラットフォームとして利用でき、エアギャップされたデータセンターであっても、Linuxベースの仮想マシン（ubuntu/Redhat互換）にインストールできます。 Hopsworksは、機能とモデルの両方を管理および提供するサーバーレスプラットフォームとしても利用できます。
私たちは市場で利用可能な最も完全でモジュラーのMLプラットフォームを構築しており、ホプワークスを継続的に改善するためのサポートを頼りにしています。いつでも私たちに提案をしたり、バグを報告したり、機能を追加したりしてください。
質問をして、Hopsworksコミュニティでフィードバックをしてください
パブリックスラックチャネルに参加してください
Twitterでフォローしてください
すべての最新の製品リリースをご覧ください
Hopsworksは、AGPL-V3ライセンスの下で入手できます。平易な英語では、これはHopsworksを自由に使用し、有料サービスを構築することもできますが、ソースコードを変更する場合は、AGPL-V3として構築された変更とその周囲に構築されたシステムもリリースする必要があります。
