MetaSpore

中文介绍

Metaspore : 원 스톱 머신 러닝 개발 플랫폼

Metaspore는 데이터 전처리, 모델 교육, 오프라인 실험, 온라인 실험 트래픽 버킷 화 및 AB 테스트에 대한 온라인 예측에 대한 풀 사이클 프레임 워크 및 개발 인터페이스를 제공하는 원 스톱 엔드 투 엔드 머신 러닝 개발 플랫폼입니다.

Metaspore는 Dmetasoul 팀에 의해 개발되고 OpenSourced입니다. 슬랙 사용자 토론 공간에도 참여할 수도 있습니다.

핵심 기능

Metaspore에는 다음과 같은 기능이 있습니다.

1. 오프라인 모델 교육에서 온라인 예측 및 버킷 팅 실험에 이르기까지 1 스톱 엔드 투 엔드 개발, 전체 프로세스에서 통합 개발 경험이 있습니다.
2. Pytorch Ecology와 호환되는 딥 러닝 교육 프레임 워크는 분산 된 대규모 스파 스 기능 학습을 지원합니다.
3. 교육 프레임 워크는 PySpark와 연결되어 데이터 레이크 및 데이터웨어 하우스의 교육 데이터를 완벽하게 읽습니다.
4. 고성능 온라인 예측 서비스는 신경망, 의사 결정 트리, 스파크 ML, Sklearn 및 기타 모델에 대한 빠른 추론을 지원합니다. 이종 하드웨어 추론 가속도를 지원합니다.
5. 오프라인 통합 기능 추출 프레임 워크에서 온라인 기능 읽기 로직이 자동으로 생성되고 기능 추출 로직은 오프라인 및 온라인으로 통합됩니다.
6. 온라인 알고리즘 애플리케이션 프레임 워크, 모델 예측, 실험 버킷 및 트래픽 분할, 매개 변수의 동적 핫로드 및 풍부한 디버그 기능을 제공합니다.
7. 풍부한 산업 알고리즘 예제 및 엔드 투 엔드 솔루션.

문서 및 예

• 오프라인 교육 시작 튜토리얼

• 온라인 알고리즘 응용 프로그램 (Java 구현)

  • 온라인 모델 서빙
  • 온라인 기능 추출
  • 온라인 실험 파이프 라인

• Movielens 엔드 투 엔드 추천 시스템 데모

  • 오프라인 모델
  • 온라인 알고리즘 응용 프로그램 (Java 구현)

설치 패키지 다운로드

훈련 패키지

PYPI에서 선행 오프라인 교육 휠 패키지를 제공하여 PIP를 통해 설치합니다.

pip install metaspore

필요한 최소 Python 버전은 3.8입니다.

설치 후 Pytorch 및 Pyspark도 설치하십시오 (Metaspore 휠의 표현으로 포함되어 있지 않으므로 필요에 따라 Pyspark 및 Pytorch 버전을 선택할 수 있습니다) :

pip install pyspark
pip install torch==1.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

서빙 패키지

Metaspore Serving Service에 미리 빌드 된 Docker 이미지를 제공합니다.

CPU 전용 이미지

 docker pull dmetasoul/metaspore-serving-release:cpu-v1.0.1

GPU 이미지

 docker pull dmetasoul/metaspore-serving-release:gpu-v1.0.1

자세한 내용은 Docker의 Run Serving Service를 참조하십시오.

코드를 컴파일하십시오

• 오프라인 교육 프레임 워크 컴파일

커뮤니티 지침

커뮤니티 지침

피드백

사용에 관한 질문은 GitHub 토론 또는 GitHub 문제를 통해 질문을 게시 할 수 있습니다.

우편

[email protected]으로 이메일을 보내주십시오.

느슨하게

사용자 토론 Slack Channel : Metaspore 사용자 토론에 가입하십시오

오픈 소스 프로젝트

Metaspore는 Apache 라이센스 2.0에 따라 출시 된 완전히 오픈 소스 프로젝트입니다. 참여, 피드백 및 코드 기부금을 환영합니다.