hopsworks
3.7.0
HopSworks é uma plataforma de dados para ML com uma loja de recursos centrada no Python e nos recursos MLOPs. HopSworks é uma plataforma modular. Você pode usá -lo como uma loja de recursos independentes, usá -lo para gerenciar, governar e servir seus modelos, e você pode até usá -lo para desenvolver e operar pipelines de recursos e pipelines de treinamento. A HopSworks traz colaboração para equipes de ML, fornecendo uma plataforma segura e governada para desenvolver, gerenciar e compartilhar ativos de ML - recursos, modelos, dados de treinamento, dados de pontuação em lote, logs e muito mais.
HopSworks está disponível como um aplicativo sem servidor, basta acessar o app.hopsworks.ai e registrar -se nas suas contas do Gmail ou do GitHub . Você poderá executar um tutorial ou acessar o HopSworks diretamente e experimentar. Esta é a maneira preferida de experimentar primeiro a plataforma antes de mergulhar em usos mais avançados e requisitos de instalação.
O Gerencie HopSworks é a nossa plataforma para executar o HopSworks e a loja de recursos na nuvem e se integra diretamente ao ambiente do cliente AWS/Azure/GCP. Ele também se integra perfeitamente a plataformas de terceiros, como Databricks, Sagemaker e Kubeflow.
Se você deseja executar o HopSworks em seu ambiente Azure, AWS ou GCP, siga um dos seguintes guias em nossa documentação:
Guia da AWS
Guia do Azure
Guia do GCP
É possível usar o HopSworks no local, o que significa que as empresas podem executar suas cargas de trabalho de aprendizado de máquina em seu próprio hardware e infraestrutura, em vez de depender de um provedor de nuvem. Isso pode proporcionar maior flexibilidade, controle e economia de custos, além de permitir que as empresas atendam aos requisitos específicos de conformidade e segurança.
Trabalhar no local com o HopSworks normalmente envolve a colaboração com as equipes de engenharia de HopSworks, pois cada infraestrutura é única e requer uma abordagem personalizada para implantação e configuração. O processo começa com uma avaliação da infraestrutura e requisitos existentes da Companhia, incluindo topologia de rede, políticas de segurança e especificações de hardware.
Para mais detalhes sobre instalações no local: entre em contato conosco.
Você precisa de pelo menos um servidor ou máquina virtual na qual o HopSworks será instalado com pelo menos as seguintes especificações:
CENTOS/RHEL 8.x ou Ubuntu 22.04;
pelo menos 32 GB de RAM,
Pelo menos 8 CPUs,
100 GB de espaço de disco rígido livre,
Uma conta de usuário do UNIX com privilégios de sudo.
A documentação do HopSworks inclui guias de usuário, documentação da loja de recursos e um guia de administração. Também incluímos conceitos para ajudar o usuário a navegar pelas abstrações e lógicas das lojas e MLOPs em geral:
LOJA DE RECURSOS: https://docs.hopsworks.ai/3.0/concepts/fs/
Projetos: https://docs.hopsworks.ai/3.0/concepts/projects/governance/
MLOPS: https://docs.hopsworks.ai/3.0/concepts/mlops/prediction_services/
A documentação da API de HopSworks é dividida em 3 categorias; A API HopSworks abrange as APIs do nível do projeto, capas da API de armazenamento de recursos, visualizações e conectores de recursos e, finalmente, a API do MLOPs cobre o registro, a porção e a implantação do MLOPs.
HopSworks API - https://docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/
API da loja de recursos -https://docs.hopsworks.ai/feature-store-api/3.0.0/generated/api/connection_api/
Mlops API -https://docs.hopsworks.ai/machine-learning-api/3.0.0/generated/connection_api/
A maioria dos tutoriais exige que você tenha pelo menos uma conta no app.hopsworks.ai. Você pode explorar o repositório dedicado https://github.com/logicalclocks/hopsworks-tiums contendo nossos tutoriais ou pular diretamente em um dos casos de uso existentes:
Fraude (lote): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_batch
Fraude (online): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_online
Previsão de rotatividade https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn
A HopSworks fornece projetos como uma caixa de areia segura na qual as equipes podem colaborar e compartilhar ativos de ML. O modelo exclusivo de projetos multi-inquilinos da HopSworks permite que dados confidenciais sejam armazenados em um cluster compartilhado, enquanto ainda fornece recursos de compartilhamento de granulação fina para ativos de ML nos limites do projeto. Os projetos podem ser usados para estruturar as equipes, para que tenham responsabilidade de ponta a ponta, desde dados brutos até recursos e modelos gerenciados. Os projetos também podem ser usados para criar ambientes de desenvolvimento, estadiamento e produção para equipes de dados. Todos os ativos da ML oferecem suporte ao versão, linhagem e proveniência fornecem a todos os usuários da HopSworks uma visão completa do ciclo de vida do MLOPS, desde a engenharia de recursos até a porção de modelos.
A HopSworks fornece ferramentas de desenvolvimento para a ciência de dados, incluindo ambientes do CONDA para Python, notebooks Jupyter, empregos ou até notebooks como empregos. Você pode construir pipelines de produção com o fluxo de ar emboto e até executar pipelines de treinamento de ML com GPUs em notebooks no fluxo de ar. Você pode treinar modelos em tantas GPUs instaladas em um cluster HopSworks e compartilhá -las facilmente entre os usuários. Você também pode executar programas Spark, Spark Streaming ou Flink em HopSworks, com apoio a trabalhadores elásticos na nuvem (adicione/remova os trabalhadores dinamicamente).
A HopSworks está disponível como uma plataforma gerenciada na nuvem na AWS, Azure e GCP, e pode ser instalada em qualquer máquinas virtuais baseadas em Linux (compatível com Ubuntu/Redhat), mesmo em data centers com abas aéreas. A HopSworks também está disponível como uma plataforma sem servidor que gerencia e serve seus recursos e modelos.
Estamos construindo a plataforma ML mais completa e modular disponível no mercado e contamos com seu apoio para melhorar continuamente o HopSworks. Sinta -se à vontade para nos dar sugestões, relatar bugs e adicionar recursos à nossa biblioteca a qualquer momento.
Faça perguntas e nos dê feedback na comunidade HopSworks
Junte -se ao nosso canal de folga pública
Siga -nos no Twitter
Confira todos os nossos últimos lançamentos de produtos
A HopSworks está disponível sob a licença AGPL-V3 . Em inglês simples, isso significa que você é livre para usar o HopSworks e até criar serviços pagos, mas se você modificar o código-fonte, também deverá liberar suas alterações e quaisquer sistemas construídos em torno dele como AGPL-V3.
