MetaSpore

中文介绍

MetaSpore: plataforma de desarrollo de aprendizaje automático único

MetaSpore es una plataforma única de desarrollo de aprendizaje automático de extremo a extremo que proporciona un marco de ciclo completo y una interfaz de desarrollo para el preprocesamiento de datos, la capacitación de modelos, los experimentos fuera de línea, las predicciones en línea a la cubierta de tráfico de experimentos en línea y las pruebas AB.

MetaSpore es desarrollado y abierto por el equipo de Dmetasoul. También puede unirse a nuestro espacio de discusión de usuarios de Slack.

Características del núcleo

MetaSpore tiene las siguientes características:

1. Desarrollo único de extremo a extremo, desde capacitación de modelos fuera de línea hasta predicción en línea y experimentos de bulleting, con una experiencia de desarrollo unificada en todo el proceso;
2. El marco de capacitación de aprendizaje profundo, compatible con la ecología de Pytorch, admite el aprendizaje de características dispersas a gran escala distribuida;
3. El marco de capacitación está conectado con Pyspark para leer sin problemas los datos de capacitación del lago de datos y el almacén de datos;
4. El servicio de predicción en línea de alto rendimiento admite una inferencia rápida para la red neuronal, el árbol de decisiones, el chispa ML, Sklearn y otros modelos; admite la aceleración de inferencia heterogénea de hardware;
5. En el marco de extracción de características unificadas fuera de línea, la lógica de lectura de funciones en línea se genera automáticamente, y la lógica de extracción de características está unificada cruzada fuera de línea y en línea;
6. Marco de aplicaciones de algoritmo en línea, que proporciona predicción de modelos, buceo de experimentos y división del tráfico, carga dinámica de parámetros y funciones de depuración ricas;
7. Riches de algoritmo de la industria y soluciones de extremo a extremo.

Documentación y ejemplos

• Tutorial de capacitación sin conexión inicial

• Aplicación de algoritmo en línea (implementación de Java)

  • Servicio de modelo en línea
  • Extracción de características en línea
  • Tubería de experimento en línea

• Una demostración del sistema de recomendación de fin de extremo de Movielens, que incluye

  • Modelos fuera de línea
  • Aplicación de algoritmo en línea (implementación de Java)

Descarga del paquete de instalación

Paquete de entrenamiento

Proporcionamos un paquete de rueda de entrenamiento fuera de línea precompilado en PYPI, instálelo a través de PIP:

pip install metaspore

La versión mínima de Python requerida es 3.8.

Después de la instalación, también instale Pytorch y Pyspark (no se incluyen como depenencias de la rueda MetaSpore para que pueda elegir las versiones de Pyspark y Pytorch según sea necesario):

pip install pyspark
pip install torch==1.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

Paquete de servicio

Proporcionamos imágenes de Docker prebuilt para el servicio de servicio MetaSpore:

Imagen de solo CPU

 docker pull dmetasoul/metaspore-serving-release:cpu-v1.0.1

Imagen de GPU

 docker pull dmetasoul/metaspore-serving-release:gpu-v1.0.1

Consulte el servicio de servicio Ejecutar en Docker para más detalles.

Compilar el código

• Compilación del marco de capacitación fuera de línea

Directrices de la comunidad

Directrices de la comunidad

Comentario

Para preguntas sobre el uso, puede publicar preguntas en la discusión de GitHub, o mediante el tema de GitHub.

Correo

Envíenos un correo electrónico a [email protected].

Flojo

Únase a nuestro canal Slack de discusión de usuario: Discusión de usuarios de MetaSpore

Proyectos de código abierto

MetaSpore es un proyecto de código completamente abierto lanzado bajo la licencia de Apache 2.0. La participación, los comentarios y las contribuciones del código son bienvenidos.