hopsworks
3.7.0
Hopsworks es una plataforma de datos para ML con una tienda de características centrada en Python y capacidades de MLOPS. Hopsworks es una plataforma modular. Puede usarlo como una tienda de características independiente, puede usarla para administrar, gobernar y servir a sus modelos, e incluso puede usarla para desarrollar y operar tuberías de funciones y capacitación de tuberías. Hopsworks trae colaboración para los equipos de ML, proporcionando una plataforma segura y gobernada para desarrollar, administrar y compartir activos de ML: características, modelos, datos de capacitación, datos de puntuación por lotes, registros y más.
Hopsworks está disponible como una aplicación sin servidor, simplemente diríjase a App.hopsworks.ai y regístrese con sus cuentas Gmail o Github . Luego podrá ejecutar un tutorial o acceder a Hopsworks directamente y probar usted mismo. Esta es la forma preferida de experimentar la plataforma antes de sumergirse en usos más avanzados y requisitos de instalación.
Managed HopSworks es nuestra plataforma para ejecutar Hopsworks y la tienda de funciones en la nube y se integra directamente con el entorno del cliente AWS/Azure/GCP. También se integra a la perfección con plataformas de terceros como Databricks, Sagemaker y Kubeflow.
Si desea ejecutar Hopsworks en su entorno Azure, AWS o GCP, siga una de las siguientes guías en nuestra documentación:
Guía de AWS
Guía Azure
Guía de GCP
Es posible usar Hopsworks en las instalaciones, lo que significa que las empresas pueden ejecutar sus cargas de trabajo de aprendizaje automático en su propio hardware e infraestructura, en lugar de depender de un proveedor de la nube. Esto puede proporcionar una mayor flexibilidad, control y ahorro de costos, así como permitir a las empresas cumplir con los requisitos específicos de cumplimiento y seguridad.
Trabajar en las instalaciones con Hopsworks generalmente implica la colaboración con los equipos de ingeniería de Hopsworks, ya que cada infraestructura es única y requiere un enfoque personalizado para la implementación y la configuración. El proceso comienza con una evaluación de la infraestructura y requisitos existentes de la Compañía, incluida la topología de la red, las políticas de seguridad y las especificaciones de hardware.
Para obtener más detalles sobre las instalaciones locales: contáctenos.
Necesita al menos un servidor o una máquina virtual en la que HopSworks se instalará con al menos la siguiente especificación:
CentOS/RHEL 8.x o Ubuntu 22.04;
Al menos 32 GB de RAM,
al menos 8 CPU,
100 GB de espacio libre de disco duro,
Una cuenta de usuario de Unix con privilegios de sudo.
La documentación de Hopsworks incluye guías de usuario, documentación de la tienda de funciones y una guía de administración. También incluimos conceptos para ayudar a los usuarios a navegar las abstracciones y lógicas de las tiendas y MLOP en general:
Tienda de funciones: https://docs.hopsworks.ai/3.0/concepts/fs/
Proyectos: https://docs.hopsworks.ai/3.0/concepts/projects/governance/
MLOPS: https://docs.hopsworks.ai/3.0/concepts/mlops/prediction_services/
La documentación de la API de Hopsworks se divide en 3 categorías; La API de Hopsworks cubre las API de nivel de proyecto, las cubiertas de la API de las tiendas de funciones, grupos de características, vistas de funciones y conectores, y finalmente MLOPS API cubre el registro de modelos, la servicio y la implementación.
API de Hopsworks - https://docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/
API de la tienda de funciones -https://docs.hopsworks.ai/feature-store-api/3.0.0/generated/api/connection_api/
API MLOPS -https://docs.hopsworks.ai/machine-letarning-api/3.0.0/generated/connection_api/
La mayoría de los tutoriales requieren que tenga al menos una cuenta en App.hopsworks.ai. Puede explorar el repositorio dedicado https://github.com/logicalclocks/hopsworks-tutorials que contiene nuestros tutoriales o salta directamente en uno de los casos de uso existentes:
Fraude (lote): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_batch
Fraude (en línea): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_online
Predicción de chalvas https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn
Hopsworks proporciona proyectos como un sandbox seguro en el que los equipos pueden colaborar y compartir activos de ML. El modelo único de proyecto de múltiples inquilinos de Hopsworks incluso permite que los datos confidenciales se almacenen en un clúster compartido, al tiempo que proporciona capacidades de intercambio de grano fino para los activos de ML en los límites del proyecto. Los proyectos se pueden utilizar para estructurar equipos para que tengan la responsabilidad de extremo a extremo, desde los datos sin procesar hasta las características y modelos administrados. Los proyectos también se pueden utilizar para crear entornos de desarrollo, puesta en escena y producción para equipos de datos. Todos los activos de ML admiten versiones, linaje y procedencia proporcionan a todos los usuarios de Hopsworks una vista completa del ciclo de vida de MLOPS, desde la ingeniería de características hasta el modelo de servicio.
Hopsworks proporciona herramientas de desarrollo para la ciencia de datos, incluidos los entornos de condena para Python, Notebooks Jupyter, trabajos o incluso cuadernos como trabajos. Puede construir tuberías de producción con el flujo de aire agrupado e incluso ejecutar tuberías de entrenamiento ML con GPU en cuadernos en el flujo de aire. Puede entrenar modelos en tantas GPU como se instalan en un clúster de Hopsworks y compartirlos fácilmente entre los usuarios. También puede ejecutar programas Spark, Streaming o Flink en Hopsworks, con apoyo a los trabajadores elásticos en la nube (agregar/eliminar los trabajadores dinámicamente).
Hopsworks está disponible como una plataforma administrada en la nube en AWS, Azure y GCP, y se puede instalar en cualquier máquina virtual basada en Linux (compatible con Ubuntu/Redhat), incluso en centros de datos recaudados en aire. Hopsworks también está disponible como una plataforma sin servidor que administra y sirve tanto a sus características como a modelos.
Estamos construyendo la plataforma ML más completa y modular disponible en el mercado, y contamos con su apoyo para mejorar continuamente los Hopsworks. No dude en darnos sugerencias, informar errores y agregar características a nuestra biblioteca en cualquier momento.
Hacer preguntas y darnos comentarios en la comunidad de Hopsworks
Únete a nuestro canal público de Slack
Síguenos en Twitter
Echa un vistazo a todos nuestros últimos lanzamientos de productos
Hopsworks está disponible bajo la licencia AGPL-V3 . En inglés sencillo, esto significa que puede usar Hopsworks e incluso construir servicios pagados en él, pero si modifica el código fuente, también debe liberar sus cambios y cualquier sistema construido a su alrededor como AGPL-V3.
