hopsworks
3.7.0
Hopsworks เป็นแพลตฟอร์มข้อมูลสำหรับ ML ที่มี ร้านค้าคุณสมบัติ Python เป็นศูนย์กลาง และความสามารถ MLOPS Hopsworks เป็นแพลตฟอร์มแบบแยกส่วน คุณสามารถใช้มันเป็นร้านค้าคุณสมบัติแบบสแตนด์อโลนคุณสามารถใช้เพื่อจัดการควบคุมและให้บริการแบบจำลองของคุณและคุณสามารถใช้มันเพื่อพัฒนาและใช้งานท่อคุณลักษณะและท่อฝึกอบรม Hopsworks นำความร่วมมือสำหรับทีม ML จัดหาแพลตฟอร์มที่ปลอดภัยและควบคุมได้สำหรับการพัฒนาจัดการและแบ่งปันสินทรัพย์ ML - คุณสมบัติโมเดลข้อมูลการฝึกอบรมข้อมูลการให้คะแนนแบบแบทช์บันทึกและอื่น ๆ
Hopsworks มีให้บริการเป็นแอพที่ไม่มีเซิร์ฟเวอร์เพียงแค่มุ่งหน้าไปที่ app.hopsworks.ai และลงทะเบียนกับบัญชี Gmail หรือ GitHub ของคุณ จากนั้นคุณจะสามารถเรียกใช้บทช่วยสอนหรือเข้าถึงฮอปส์กร์กโดยตรงและลองตัวเอง นี่เป็นวิธีที่ต้องการประสบการณ์แรกของแพลตฟอร์มก่อนที่จะดำน้ำในการใช้งานขั้นสูงและข้อกำหนดการติดตั้งขั้นสูง
Managed Hopsworks เป็นแพลตฟอร์มของเราสำหรับ Running Hopsworks และร้านค้าคุณลักษณะในคลาวด์และรวมเข้ากับสภาพแวดล้อม AWS/Azure/GCP ของลูกค้าโดยตรง นอกจากนี้ยังรวมเข้ากับแพลตฟอร์มบุคคลที่สามอย่างราบรื่นเช่น Databricks, Sagemaker และ Kubeflow
หากคุณต้องการเรียกใช้ Hopsworks ในสภาพแวดล้อม Azure, AWS หรือ GCP ของคุณให้ทำตามหนึ่งในคำแนะนำต่อไปนี้ในเอกสารของเรา:
คู่มือ AWS
Azure Guide
คู่มือ GCP
เป็นไปได้ที่จะใช้ Hopsworks ในสถานที่ซึ่งหมายความว่า บริษัท สามารถเรียกใช้งานการเรียนรู้ของเครื่องในฮาร์ดแวร์และโครงสร้างพื้นฐานของตนเองแทนที่จะพึ่งพาผู้ให้บริการคลาวด์ สิ่งนี้สามารถให้ความยืดหยุ่นมากขึ้นการควบคุมและการประหยัดต้นทุนรวมถึงการช่วยให้ บริษัท ต่างๆสามารถปฏิบัติตามข้อกำหนดการปฏิบัติตามข้อกำหนดและความปลอดภัยที่เฉพาะเจาะจง
การทำงานในสถานที่กับ Hopsworks มักจะเกี่ยวข้องกับการทำงานร่วมกันกับทีมงานวิศวกรรมของ Hopsworks เนื่องจากโครงสร้างพื้นฐานแต่ละตัวมีความพิเศษและต้องใช้วิธีการที่เหมาะสำหรับการปรับใช้และการกำหนดค่า กระบวนการเริ่มต้นด้วยการประเมินโครงสร้างพื้นฐานและข้อกำหนดที่มีอยู่ของ บริษัท รวมถึงโทโพโลยีเครือข่ายนโยบายความปลอดภัยและข้อกำหนดฮาร์ดแวร์
สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการติดตั้งในสถานที่: ติดต่อเรา
คุณต้องมีเซิร์ฟเวอร์อย่างน้อยหนึ่งเครื่องหรือเครื่องเสมือนที่จะติดตั้ง Hopsworks อย่างน้อยก็ตามข้อกำหนดดังต่อไปนี้:
centos/rhel 8.x หรือ ubuntu 22.04;
RAM อย่างน้อย 32GB
อย่างน้อย 8 ซีพียู
พื้นที่ฮาร์ดดิสก์ฟรี 100 GB
บัญชีผู้ใช้ UNIX ที่มีสิทธิ์ sudo
เอกสารประกอบ Hopsworks รวมถึงคู่มือผู้ใช้เอกสารประกอบร้านค้าและคู่มือการดูแลระบบ นอกจากนี้เรายังรวมถึงแนวคิดเพื่อช่วยให้ผู้ใช้นำทาง Abstractions และ logics ของร้านค้าคุณลักษณะและ mlops โดยทั่วไป:
ร้านค้าฟีเจอร์: https://docs.hopsworks.ai/3.0/concepts/fs/
โครงการ: https://docs.hopsworks.ai/3.0/concepts/projects/governance/
MLOPS: https://docs.hopsworks.ai/3.0/concepts/mlops/prediction_services/
เอกสาร Hopsworks API แบ่งออกเป็น 3 หมวดหมู่; HOPSWORKS API ครอบคลุม API ระดับโครงการ, ร้านค้า API ฟีเจอร์ครอบคลุมกลุ่มคุณลักษณะมุมมองคุณลักษณะและตัวเชื่อมต่อและในที่สุด MLOPS API ครอบคลุมรีจิสทรีรุ่นการให้บริการและการปรับใช้
HOPSWORKS API - https://docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/
ฟีเจอร์ร้านค้า API -https://docs.hopsworks.ai/feature-store-api/3.0.0/generated/api/connection_api/
mlops api -https://docs.hopsworks.ai/machine-learning-api/3.0.0/generated/connection_api/
บทเรียนส่วนใหญ่ต้องการให้คุณมีบัญชีอย่างน้อยใน app.hopsworks.ai คุณสามารถสำรวจ https://github.com/logicalclocks/hopsworks-tutorials โดยเฉพาะที่มีการสอนของเราหรือกระโดดโดยตรงในกรณีการใช้งานที่มีอยู่:
การฉ้อโกง (แบทช์): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_batch
การฉ้อโกง (ออนไลน์): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_online
การทำนายปั่นป่วน https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn
Hopsworks จัดทำโครงการเป็นกล่องทรายที่ปลอดภัยซึ่งทีมสามารถทำงานร่วมกันและแบ่งปันสินทรัพย์ ML โมเดลโครงการผู้เช่าที่ไม่เหมือนใครของ Hopsworks ยังช่วยให้สามารถเก็บข้อมูลที่ละเอียดอ่อนไว้ในคลัสเตอร์ที่ใช้ร่วมกันในขณะที่ยังคงให้ความสามารถในการแบ่งปันที่ดีสำหรับสินทรัพย์ ML ในขอบเขตของโครงการ โครงการสามารถใช้ในการจัดโครงสร้างทีมเพื่อให้พวกเขามีความรับผิดชอบแบบ end-to-end จากข้อมูลดิบไปจนถึงคุณสมบัติและโมเดลที่มีการจัดการ โครงการยังสามารถใช้ในการสร้างการพัฒนาการจัดเตรียมและสภาพแวดล้อมการผลิตสำหรับทีมข้อมูล สินทรัพย์ ML ทั้งหมดรองรับการกำหนดเวอร์ชันเชื้อสายและที่มาให้ผู้ใช้ Hopsworks ทุกคนได้รับมุมมองที่สมบูรณ์ของวงจรชีวิต MLOPS จากวิศวกรรมคุณลักษณะผ่านการให้บริการแบบจำลอง
Hopsworks ให้บริการเครื่องมือการพัฒนาสำหรับวิทยาศาสตร์ข้อมูลรวมถึงสภาพแวดล้อม conda สำหรับ Python, สมุดบันทึก Jupyter, งานหรือแม้แต่สมุดบันทึกเป็นงาน คุณสามารถสร้างท่อส่งผลิตด้วยการไหลเวียนของอากาศแบบรวมและแม้แต่ใช้ท่อฝึกอบรม ML ด้วย GPUs ในสมุดบันทึกการไหลเวียนของอากาศ คุณสามารถฝึกอบรมโมเดลบน GPU ได้มากเท่าที่ติดตั้งในคลัสเตอร์ Hopsworks และแชร์ได้อย่างง่ายดายระหว่างผู้ใช้ นอกจากนี้คุณยังสามารถเรียกใช้ Spark, Spark Streaming หรือโปรแกรม Flink บน Hopsworks โดยรองรับคนงานที่ยืดหยุ่นในคลาวด์ (เพิ่ม/ลบคนงานแบบไดนามิก)
Hopsworks มีให้บริการเป็นแพลตฟอร์มที่มีการจัดการทั้งสองในคลาวด์บน AWS, Azure และ GCP และสามารถติดตั้งบนเครื่องเสมือนจริงที่ใช้ Linux (Ubuntu/Redhat เข้ากันได้) แม้ในศูนย์ข้อมูลที่มีอากาศ Hopsworks ยังมีให้บริการเป็นแพลตฟอร์มที่ไม่มีเซิร์ฟเวอร์ที่จัดการและให้บริการทั้งคุณสมบัติและรุ่นของคุณ
เรากำลังสร้างแพลตฟอร์ม ML ที่สมบูรณ์และเป็นโมดูลที่มีอยู่ในตลาดและเราพึ่งพาการสนับสนุนของคุณเพื่อปรับปรุง Hopsworks อย่างต่อเนื่อง อย่าลังเลที่จะให้คำแนะนำเรารายงานข้อบกพร่องและเพิ่มคุณสมบัติให้กับห้องสมุดของเราได้ตลอดเวลา
ถามคำถามและให้ข้อเสนอแนะในชุมชน Hopsworks
เข้าร่วมช่อง Slack สาธารณะของเรา
ติดตามเราบน Twitter
ตรวจสอบการเปิดตัวผลิตภัณฑ์ล่าสุดของเราทั้งหมด
Hopsworks มีให้ภายใต้ ใบอนุญาต AGPL-V3 ในภาษาอังกฤษธรรมดาหมายความว่าคุณมีอิสระที่จะใช้ Hopsworks และสร้างบริการที่ชำระเงิน แต่ถ้าคุณแก้ไขซอร์สโค้ดคุณควรปลดปล่อยการเปลี่ยนแปลงและระบบใด ๆ ที่สร้างขึ้นเป็น AGPL-V3
