hopsworks
3.7.0
Hopsworks는 Python 중심 기능 저장소 및 MLOPS 기능을 갖춘 ML의 데이터 플랫폼입니다. Hopsworks는 모듈 식 플랫폼입니다. 독립형 기능 저장소로 사용할 수 있으며 모델을 사용하여 모델을 관리, 관리 및 서비스 할 수 있으며 기능 파이프 라인 및 교육 파이프 라인을 개발 및 운영하는 데 사용할 수도 있습니다. Hopsworks는 ML 팀을위한 협업을 제공하여 ML 자산을 개발, 관리 및 공유 할 수있는 안전한 지배 플랫폼을 제공합니다. 기능, 모델, 교육 데이터, 배치 스코어링 데이터, 로그 등.
Hopsworks는 서버리스 앱으로 제공되며 App.hopsworks.ai로 이동하여 Gmail 또는 Github 계정에 등록하십시오. 그러면 튜토리얼을 실행하거나 홉스 워크에 직접 액세스하고 직접 시도 할 수 있습니다. 이는보다 고급 용도 및 설치 요구 사항으로 다이빙하기 전에 플랫폼을 먼저 경험하는 선호하는 방법입니다.
Managed Hopsworks는 클라우드에서 Hopsworks 및 기능 저장소를 실행하기위한 플랫폼이며 고객 AWS/AZURE/GCP 환경과 직접 통합합니다. 또한 Databricks, Sagemaker 및 Kubeflow와 같은 타사 플랫폼과 완벽하게 통합됩니다.
Azure, AWS 또는 GCP 환경에서 Hopsworks를 실행하려면 다음 문서의 다음 안내서 중 하나를 따르십시오.
AWS 가이드
Azure 가이드
GCP 가이드
Hopsworks 온-프레미스를 사용할 수 있습니다. 즉, 회사는 클라우드 제공 업체에 의존하기보다는 자체 하드웨어 및 인프라에서 머신 러닝 워크로드를 실행할 수 있습니다. 이를 통해 회사는 특정 규정 준수 및 보안 요구 사항을 충족 할 수있을뿐만 아니라 유연성, 제어 및 비용 절감 효과를 제공 할 수 있습니다.
Hopsworks와 함께 온-프레미스 작업에는 일반적으로 각 인프라가 고유하고 배포 및 구성에 맞춤형 접근 방식이 필요하기 때문에 Hopsworks와 협력해야합니다. 이 프로세스는 네트워크 토폴로지, 보안 정책 및 하드웨어 사양을 포함한 회사의 기존 인프라 및 요구 사항에 대한 평가로 시작됩니다.
온 프레미스 설치에 대한 자세한 내용은 다음과 같이 문의하십시오.
Hopsworks가 다음과 같은 사양으로 설치 될 서버 또는 가상 머신이 하나 이상 필요합니다.
Centos/Rhel 8.x 또는 Ubuntu 22.04;
최소 32GB RAM,
최소 8 CPU,
100GB의 무료 하드 디스크 공간,
Sudo 권한이있는 UNIX 사용자 계정.
Hopsworks 문서에는 사용자 가이드, 기능 상점 문서 및 관리 안내서가 포함됩니다. 또한 사용자가 기능 상점 및 MLOP의 추상화 및 논리를 항해하는 데 도움이되는 개념을 포함합니다.
기능 상점 : https://docs.hopsworks.ai/3.0/concepts/fs/
프로젝트 : https://docs.hopsworks.ai/3.0/concepts/projects/governance/
mlops : https://docs.hopsworks.ai/3.0/concepts/mlops/prediction_services/
Hopsworks API 문서는 3 가지 범주로 나뉩니다. Hopsworks API는 프로젝트 수준 API, 기능 상점 API 커버 기능 그룹, 기능 뷰 및 커넥터, 마지막으로 MLOPS API 커버 모델 레지스트리, 서빙 및 배포를 커버합니다.
Hopsworks API -https://docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/
기능 상점 API -https://docs.hopsworks.ai/feature-store-api/3.0.0/generated/api/connection_api/
mlops api -https://docs.hopsworks.ai/machine-learning-api/3.0.0/generated/connection_api/
튜토리얼의 대부분은 app.hopsworks.ai에 최소한 계정이 있어야합니다. 전용 https://github.com/logicalclocks/hopsworks-tutorials 저장소를 튜토리얼을 포함하는 저장소를 탐색하거나 기존 사용 사례 중 하나에서 직접 점프 할 수 있습니다.
사기 (배치) : https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_batch
사기 (온라인) : https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_online
이탈 예측 https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn
Hopsworks는 팀이 ML 자산을 협력하고 공유 할 수있는 안전한 샌드 박스로 프로젝트를 제공합니다. Hopsworks의 고유 한 멀티 테넌트 프로젝트 모델을 사용하면 민감한 데이터가 공유 클러스터에 저장 될 수 있지만 프로젝트 경계에 걸쳐 ML 자산에 대한 세밀한 공유 기능을 제공 할 수 있습니다. 프로젝트는 원시 데이터에서 관리되는 기능 및 모델에 이르기까지 팀을 구성하는 데 사용될 수 있습니다. 프로젝트는 또한 데이터 팀을위한 개발, 준비 및 생산 환경을 만드는 데 사용될 수 있습니다. 모든 ML 자산은 버전 작성, 계보 및 출처를 지원합니다. 모든 Hopsworks 사용자에게 기능 엔지니어링에서 모델 서빙에 이르기까지 MLOPS 수명주기를 완전히 볼 수 있습니다.
Hopsworks는 Python 용 콘다 환경, Jupyter 노트북, 작업 또는 노트북을 포함하여 데이터 과학을위한 개발 도구를 제공합니다. 번들로드 공기 흐름으로 생산 파이프 라인을 구축하고 공기 흐름의 노트북에 GPU와 함께 ML 교육 파이프 라인을 실행할 수도 있습니다. Hopsworks 클러스터에 설치된만큼 많은 GPU에 모델을 훈련시켜 사용자간에 쉽게 공유 할 수 있습니다. 클라우드의 탄성 작업자를 지원하여 Hopsworks에서 Spark, Spark Streaming 또는 Flink 프로그램을 실행할 수도 있습니다 (근로자 추가/제거).
Hopsworks는 AWS, Azure 및 GCP의 클라우드에서 관리되는 플랫폼으로 제공되며 에어 갭 데이터 센터에서도 Linux 기반 가상 머신 (Ubuntu/Redhat Compatible)에 설치할 수 있습니다. Hopsworks는 기능과 모델을 모두 관리하고 서비스하는 서버리스 플랫폼으로도 제공됩니다.
우리는 시장에서 이용할 수있는 가장 완벽하고 모듈 식 ML 플랫폼을 구축하고 있으며, 홉스 워크를 지속적으로 개선하기위한 귀하의 지원을 의지합니다. 언제든지 우리에게 제안을하고 버그를보고하며 언제든지 라이브러리에 기능을 추가하십시오.
Hopsworks 커뮤니티에서 질문을하고 피드백을 제공하십시오.
공개 슬랙 채널에 가입하십시오
트위터에서 우리를 따르십시오
모든 최신 제품 릴리스를 확인하십시오
Hopsworks는 AGPL-V3 라이센스 에 따라 제공됩니다. 평범한 영어에서 이것은 홉스 워크를 자유롭게 사용하고 유료 서비스를 구축 할 수 있음을 의미하지만 소스 코드를 수정하면 변경 사항과 그 주위에 구축 된 모든 시스템을 AGPL-V3으로 다시 해제해야합니다.
