MetaSpore

中文介绍

Metaspore: Plataforma de desenvolvimento de aprendizado de máquina único

A Metaspore é uma plataforma de desenvolvimento de aprendizado de máquina de ponta a ponta de ponta que fornece uma estrutura de estrutura e desenvolvimento de ciclo completo para pré-processamento de dados, treinamento de modelos, experimentos offline, previsões on-line para baldes de tráfego de experimentos on-line e abstenção abrangente.

A Metaspore é desenvolvida e abre -se a equipe da Dmetasoul. Você também pode se juntar ao nosso espaço de discussão do usuário do Slack.

Recursos principais

Metaspore tem os seguintes recursos:

1. Desenvolvimento de ponta a ponta, desde o treinamento offline até o treinamento de modelos até a previsão on-line e os experimentos de baldes, com uma experiência de desenvolvimento unificada em todo o processo;
2. A estrutura de treinamento de aprendizado profundo, compatível com a Ecologia da Pytorch, suporta aprendizado de recursos escassos em larga escala distribuído;
3. A estrutura de treinamento está conectada ao Pyspark para ler perfeitamente os dados de treinamento do data Lake e Data Warehouse;
4. Serviço de previsão on-line de alto desempenho, suporta uma inferência rápida pela rede neural, árvore de decisão, Spark ML, Sklearn e outros modelos; suporta aceleração de inferência de hardware heterogênea;
5. Na estrutura de extração de recursos unificados offline, a lógica de leitura de recursos on -line é gerada automaticamente e a lógica de extração de recursos é unificada cruzada offline e online;
6. Estrutura de aplicativos de algoritmo on -line, fornecendo previsão de modelos, bucketing de experimento e divisão de tráfego, carregamento a quente dinâmico de parâmetros e funções de depuração rica;
7. Exemplos de algoritmo da indústria rica e soluções de ponta a ponta.

Documentação e exemplos

• Treinamento off -line para começar o tutorial

• Aplicativo de algoritmo online (implementação Java)

  • Modelo online porções
  • Extração de recursos on -line
  • Pipeline de experimentos on -line

• Uma demonstração de sistema de recomendação de ponta a ponta Movielens, incluindo

  • Modelos offline
  • Aplicativo de algoritmo online (implementação Java)

Download do pacote de instalação

Pacote de treinamento

Fornecemos pacote de roda de treinamento offline pré -compilado no Pypi, instale -o via PIP:

pip install metaspore

A versão mínima do Python necessária é 3.8.

Após a instalação, também instale o Pytorch e o Pyspark (eles não são incluídos como depenências da Metaspore Wheel para que você possa escolher versões Pyspark e Pytorch, conforme necessário):

pip install pyspark
pip install torch==1.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

Pacote de servir

Fornecemos imagens pré -construídas do Docker para o Metaspore Serving Service:

Imagem apenas da CPU

 docker pull dmetasoul/metaspore-serving-release:cpu-v1.0.1

Imagem da GPU

 docker pull dmetasoul/metaspore-serving-release:gpu-v1.0.1

Consulte Run Serving Service no Docker para obter detalhes.

Compilar o código

• Compilação da estrutura de treinamento offline

Diretrizes da comunidade

Diretrizes da comunidade

Opinião

Para perguntas sobre uso, você pode postar perguntas na discussão do GitHub ou por meio do problema do GitHub.

Correspondência

Envie um email para [email protected].

Folga

Junte -se ao nosso canal de discussão sobre o usuário: discussão do usuário do Metaspore

Projetos de código aberto

O Metaspore é um projeto de código aberto completamente lançado sob a licença Apache 2.0. As contribuições de participação, feedback e código são bem -vindas.