hopsworks
3.7.0
HopsWorks ist eine Datenplattform für ML mit einem Python-zentrierten Feature-Store und MLOPS-Funktionen. HopsWorks ist eine modulare Plattform. Sie können es als eigenständiges Feature -Store verwenden, Sie können es verwenden, um Ihre Modelle zu verwalten, zu regieren und zu bedienen, und Sie können es sogar verwenden, um Feature -Pipelines und Trainingspipelines zu entwickeln und zu betreiben. Hopsworks bringt die Zusammenarbeit für ML -Teams mit und bietet eine sichere, regierten Plattform für die Entwicklung, Verwaltung und Freigabe von ML -Assets - Funktionen, Modelle, Schulungsdaten, Daten mit Batch -Scoring -Daten, Protokollen und vieles mehr.
HopsWorks ist als serverlose App verfügbar. Gehen Sie einfach zu app.hopsWorks.ai und registrieren Sie sich bei Ihren Google Mail- oder GitHub -Konten. Sie können dann ein Tutorial ausführen oder Hopswers direkt zugreifen und sich selbst versuchen. Dies ist die bevorzugte Möglichkeit, die Plattform zuerst zu erleben, bevor Sie in fortschrittlichere Verwendungs- und Installationsanforderungen eintauchen.
Managed HopsWorks ist unsere Plattform für das Ausführen von Hopswers und den Feature -Store in der Cloud und integriert sich direkt in die Customer AWS/Azure/GCP -Umgebung. Es integriert sich auch nahtlos in Plattformen von Drittanbietern wie Datenbanken, Sagemaker und Kubeflow.
Wenn Sie Hopsschwörchen in Ihrer Azure-, AWS- oder GCP -Umgebung betreiben möchten, befolgen Sie einen der folgenden Leitfäden in unserer Dokumentation:
AWS -Leitfaden
Azure Guide
GCP -Leitfaden
Es ist möglich, Hopswers vor Ort zu verwenden, was bedeutet, dass Unternehmen ihre Workloads für maschinelles Lernen auf ihrer eigenen Hardware und Infrastruktur ausführen können, anstatt sich auf einen Cloud-Anbieter zu verlassen. Dies kann eine größere Flexibilität, Kontrolle und Kosteneinsparungen bieten und es Unternehmen ermöglichen, spezifische Compliance- und Sicherheitsanforderungen zu erfüllen.
Die On-Premise mit HOPSWorks beinhaltet in der Regel die Zusammenarbeit mit den HopsWorks Engineering-Teams, da jede Infrastruktur einzigartig ist und einen maßgeschneiderten Ansatz für die Bereitstellung und Konfiguration erfordert. Der Prozess beginnt mit einer Bewertung der vorhandenen Infrastruktur und Anforderungen des Unternehmens, einschließlich Netzwerktopologie, Sicherheitsrichtlinien und Hardwarespezifikationen.
Weitere Informationen zu lokalen Installationen: Kontaktieren Sie uns.
Sie benötigen mindestens einen Server oder eine virtuelle Maschine, auf der Hopsmuts mit mindestens der folgenden Spezifikation installiert werden:
CentOS/Rhel 8.x oder Ubuntu 22.04;
mindestens 32 GB RAM,
mindestens 8 CPUs,
100 GB freien Festplattenraum,
Ein UNIX -Benutzerkonto mit sudo -Berechtigungen.
Die Dokumentation von HopsWorks enthält Benutzerführer, Feature Store -Dokumentation und ein Verwaltungshandbuch. Wir schließen auch Konzepte ein, mit denen Benutzer die Abstraktionen und Logik der Feature -Stores und Mlops im Allgemeinen navigiert:
Feature Store: https://docs.hopsworks.ai/3.0/concepts/fs/
Projekte: https://docs.hopsworks.ai/3.0/concepts/projects/governance/
MLOPS: https://docs.hopsworks.ai/3.0/concepts/mlops/prediction_services/
Die Dokumentation der Hopsworks -API ist in 3 Kategorien geteilt. HopsWorks API umfasst Projektebene -APIs auf Projektebene, Feature Store -API -Abdeckungen Feature -Gruppen, Feature -Ansichten und -verbinder sowie schließlich MLOPS -API -Abdeckung der Modellregistrierung, des Servierens und der Bereitstellung.
HopsWorks API - https://docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/
Feature Store API -https://docs.hopsworks.ai/feature-store-api/3.0.0/generated/api/connection_api/
Mlops api -https://docs.hopsworks.ai/machine-learning-api/3.0.0/generated/connection_api/
Bei den meisten Tutorials müssen Sie mindestens ein Konto auf app.hopsWorks.ai haben. Sie können die dedizierten https://github.com/logicalclocks/hopsWorks-Tutorials-Repository mit unseren Tutorials oder direkt in einem der vorhandenen Anwendungsfälle untersuchen:
Betrug (Batch): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_batch
Betrug (online): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_online
Churn Prediction https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn
HopsWorks bietet Projekte als sichere Sandbox an, in denen Teams zusammenarbeiten und ML -Vermögenswerte teilen können. Das einzigartige Projektmodell von HopsWorks ermöglicht es sogar, dass sensible Daten in einem gemeinsamen Cluster gespeichert werden, während es dennoch feinkörnige Freigabefunktionen für ML-Vermögenswerte über die Projektgrenzen hinweg bietet. Projekte können verwendet werden, um Teams so zu strukturieren, dass sie eine End-to-End-Verantwortung von Rohdaten bis hin zu verwalteten Funktionen und Modellen haben. Projekte können auch zur Erstellung von Entwicklungs-, Inszenierungs- und Produktionsumgebungen für Datenteams verwendet werden. Alle ML -Assets unterstützen Versioning, Abstammung und Provenienz für alle Hopsms -Benutzer mit einer vollständigen Übersicht über den Lebenszyklus von MLOPS, vom Feature Engineering bis hin zum Modellieren.
HopsWorks bietet Entwicklungstools für Datenwissenschaft, einschließlich Conda -Umgebungen für Python, Jupyter -Notizbücher, Jobs oder sogar Notizbücher als Jobs. Sie können Produktionspipelines mit dem gebündelten Luftstrom bauen und sogar ML -Trainingspipelines mit GPUs in Notebooks im Luftstrom durchführen. Sie können Modelle auf so vielen GPUs schulen, wie sie in einem Hopsms -Cluster installiert sind und sie einfach unter den Benutzern teilen. Sie können auch Funken-, Spark -Streaming- oder Flink -Programme auf Hopsschalen ausführen, wobei Sie die elastischen Arbeiter in der Cloud unterstützen (die Arbeiter dynamisch hinzufügen/entfernen).
HopsWorks ist sowohl als verwaltete Plattform in der Cloud auf AWS, Azure und GCP erhältlich und kann auch in letztendlichen Rechenzentren auf luftgestandten Rechenzentren auf linuxbasierten virtuellen Maschinen (Ubuntu/Redhat-kompatibel) installiert werden. HopsWorks ist auch als serverlose Plattform erhältlich, die sowohl Ihre Funktionen als auch Modelle verwaltet und bedient.
Wir bauen die vollständigste und modularste ML -Plattform, die auf dem Markt verfügbar ist, und zählen auf Ihre Unterstützung, um die Hopfenschüben kontinuierlich zu verbessern. Fühlen Sie sich frei, uns Vorschläge zu geben, Fehler zu melden und jederzeit Funktionen zu unserer Bibliothek hinzuzufügen.
Stellen Sie Fragen und geben Sie uns Feedback in der Hopswers -Community
Treten Sie unserem öffentlichen Slack -Kanal bei
Folgen Sie uns auf Twitter
Schauen Sie sich alle unsere neuesten Produktveröffentlichungen an
HopsWorks ist im Rahmen der AGPL-V3-Lizenz erhältlich. In einfachem Englisch bedeutet dies, dass Sie die Verwendung von Hopsms und sogar dafür kostenpflichtige Dienste verwenden können. Wenn Sie jedoch den Quellcode ändern, sollten Sie auch Ihre Änderungen und alle Systeme, die sich um sie als AGPL-V3 befinden, wiedergeben.
