ดาวน์โหลด clearml - clearml Source Source Download

clearml

ซอร์สโค้ดอื่น ๆ

v1.16.5 - ClearML

ดาวน์โหลด

ล้าง | ML

ClearML - ชุดเครื่องมืออัตโนมัติเพื่อปรับปรุงเวิร์กโฟลว์ AI ของคุณ
Experiment Manager, MLOPS/LLMOPS และการจัดการข้อมูล

? ClearML is open-source - Leave a star to support the project! ?

ClearML

^{เดิมชื่อรถไฟ Allegro}

ClearML เป็นชุดพัฒนาและผลิต ML/DL มันมีห้าโมดูลหลัก:

Experiment Manager - การติดตามการทดลองอัตโนมัติสภาพแวดล้อมและผลลัพธ์
MLOPS / LLMOPS - orchestration, ระบบอัตโนมัติและท่อสำหรับงาน ML / DL / Genai (Kubernetes / Cloud / Bare -Metal)
การจัดการข้อมูล-โซลูชันการจัดการข้อมูลและการควบคุมเวอร์ชันที่แตกต่างกันอย่างเต็มที่บนด้านบนของการจัดเก็บวัตถุ (S3 / GS / Azure / NAS)
การให้บริการแบบจำลอง-โซลูชันการให้บริการรุ่นที่ปรับขนาดได้ แบบคลาวด์ !
- ปรับใช้จุดสิ้นสุดรุ่นใหม่ภายในไม่ถึง 5 นาที
- รวมการสนับสนุนการให้บริการ GPU ที่ได้รับการปรับปรุงโดย Nvidia-Triton
- ด้วยการตรวจสอบโมเดลนอกกรอบ
รายงาน - สร้างและแบ่งปันเอกสาร Markdown Rich ที่รองรับเนื้อหาออนไลน์แบบฝังได้
Dashboard Orchestration - Dashboard ที่มีสดสำหรับคลัสเตอร์การคำนวณทั้งหมดของคุณ (Cloud / Kubernetes / On -Prem)
ใหม่ ? GPU แบบเศษส่วน - อิงคอนเทนเนอร์, ข้อ จำกัด หน่วยความจำระดับ GPU ระดับไดรเวอร์? -

การใช้เครื่องมือส่วนประกอบเหล่านี้คือ ClearML-Server ดูโฮสติ้งตัวเองและโฮสติ้งระดับฟรี

ลงทะเบียนและเริ่มใช้ภายใน 2 นาที

แบบฝึกหัดที่เป็นมิตรเพื่อให้คุณเริ่มต้น

ขั้นตอนที่ 1 - การจัดการการทดลอง
ขั้นตอนที่ 2 - การตั้งค่าเอเจนต์การดำเนินการระยะไกล
ขั้นตอนที่ 3 - ทำงานจากระยะไกล

การจัดการทดลอง	ชุดข้อมูล


การแต่งกาย	ท่อส่งน้ำ

ClearML Experiment Manager

การเพิ่มเพียง 2 บรรทัดในรหัสของคุณจะทำให้คุณได้รับสิ่งต่อไปนี้

บันทึกการตั้งค่าการทดลองที่สมบูรณ์
- ข้อมูลการควบคุมต้นทางเต็มรูปแบบรวมถึงการเปลี่ยนแปลงในท้องถิ่นที่ไม่ได้รับการแก้ไข
- สภาพแวดล้อมการดำเนินการ (รวมถึงแพ็คเกจและเวอร์ชันเฉพาะ)
- พารามิเตอร์ไฮเปอร์
  - argparse /click /pythonfire สำหรับพารามิเตอร์บรรทัดคำสั่งที่มีค่าที่ใช้ในปัจจุบัน
  - พจนานุกรมพารามิเตอร์ที่ชัดเจน
  - Tensorflow กำหนด (ABSL-PY)
  - การกำหนดค่าไฮดราและการแทนที่
- ไฟล์น้ำหนักรุ่นเริ่มต้น
เอาต์พุตการทดลองเต็มรูปแบบการจับภาพอัตโนมัติ
- stdout และ stderr
- การตรวจสอบทรัพยากร (การใช้ CPU/GPU, อุณหภูมิ, IO, เครือข่าย ฯลฯ )
- สแน็ปช็อตรุ่น (พร้อมการอัปโหลดอัตโนมัติไปยังที่เก็บข้อมูลกลาง: โฟลเดอร์ที่ใช้ร่วมกัน, S3, GS, Azure, HTTP)
- บันทึกและร้านค้า (โฟลเดอร์ที่ใช้ร่วมกัน, S3, GS, Azure, HTTP)
- Tensorboard/Tensorboardx Scalars, Metrics, ฮิสโตแกรม, รูปภาพ, ตัวอย่างเสียงและวิดีโอตัวอย่าง
- Matplotlib & Seoborn
- อินเตอร์เฟส Logger ClearML เพื่อความยืดหยุ่นที่สมบูรณ์
การสนับสนุนแพลตฟอร์มที่กว้างขวางและการรวมเข้าด้วยกัน
- Frameworks ML / DL ที่รองรับ: Pytorch (รวม 'Ignite / Lightning), Tensorflow, Keras, Autokeras, Fastai, XGBOOST, LightGBM, MegEngine และ Scikit-Learn
- การรวมที่ไร้รอยต่อ (รวมถึงการควบคุมเวอร์ชัน) กับ Jupyter Notebook และ Pycharm Remote Debugging

เริ่มใช้ ClearML

ลงทะเบียนฟรีไปยังบริการโฮสต์ ClearML (หรือคุณสามารถตั้งค่าเซิร์ฟเวอร์ของคุณเองดูที่นี่)
ClearML Demo Server: ClearML ไม่ได้ใช้เซิร์ฟเวอร์สาธิตตามค่าเริ่มต้นอีกต่อไป ในการเปิดใช้งานเซิร์ฟเวอร์สาธิตให้ตั้งค่า CLEARML_NO_DEFAULT_SERVER=0 ตัวแปรสภาพแวดล้อม ไม่จำเป็นต้องมีข้อมูลรับรอง แต่การทดลองที่เปิดตัวไปยังเซิร์ฟเวอร์ตัวอย่างเป็นแบบสาธารณะดังนั้นอย่าลืมเปิดการทดลองที่ละเอียดอ่อนหากใช้เซิร์ฟเวอร์ตัวอย่าง
ติดตั้งแพ็คเกจ clearml Python:
```
pip install clearml
```
เชื่อมต่อ ClearML SDK เข้ากับเซิร์ฟเวอร์โดยการสร้างข้อมูลรับรองจากนั้นเรียกใช้คำสั่งด้านล่างและทำตามคำแนะนำ:
```
clearml-init
```

เพิ่มสองบรรทัดในรหัสของคุณ:

 from clearml import Task
task = Task . init ( project_name = 'examples' , task_name = 'hello world' )

และคุณทำเสร็จแล้ว! ทุกสิ่งที่เอาต์พุตกระบวนการของคุณตอนนี้ลงชื่อเข้าใช้โดยอัตโนมัติใน ClearML

ขั้นตอนต่อไปอัตโนมัติ! เรียนรู้เพิ่มเติมเกี่ยวกับระบบอัตโนมัติสองคลิกของ ClearML ที่นี่

สถาปัตยกรรม ClearML

ส่วนประกอบ Run-Time ClearML:

แพ็คเกจ ClearML Python - สำหรับการรวม ClearML เข้ากับสคริปต์ที่มีอยู่ของคุณโดยเพิ่มรหัสเพียงสองบรรทัดและขยายการทดลองและเวิร์กโฟลว์อื่น ๆ ของคุณด้วยชุดคลาสและวิธีการที่มีประสิทธิภาพและหลากหลายของ ClearML
เซิร์ฟเวอร์ ClearML - สำหรับการจัดเก็บการทดสอบโมเดลและข้อมูลเวิร์กโฟลว์ สนับสนุน Web UI Experiment Manager และ MLOPS Automation เพื่อการทำซ้ำและการปรับแต่ง มีให้บริการเป็นบริการโฮสต์และโอเพ่นซอร์สเพื่อให้คุณปรับใช้เซิร์ฟเวอร์ ClearML ของคุณเอง
Agent ClearML - สำหรับ orchestration MLOPS, การทดลองและการทำซ้ำเวิร์กโฟลว์และความสามารถในการปรับขนาด

โมดูลเพิ่มเติม

ClearML-Session- เปิดตัว JupyterLab / Vscode-Server ระยะไกลภายในเครื่องอันธพาลบนเครื่องคลาวด์ / บนอุปกรณ์
Clearml -Task - เรียกใช้ codebase ใด ๆ บนเครื่องรีโมตด้วยการบันทึกระยะไกลเต็มรูปแบบของ Tensorboard, Matplotlib & Console เอาต์พุต
ClearML -Data - CLI สำหรับการจัดการและกำหนดเวอร์ชันชุดข้อมูลของคุณรวมถึงการสร้าง/อัปโหลด/ดาวน์โหลดข้อมูลจาก S3/GS/Azure/NAS
AWS Auto -Scaler - หมุนอินสแตนซ์ EC2 โดยอัตโนมัติตามปริมาณงานของคุณด้วยงบประมาณที่กำหนดค่าไว้ล่วงหน้า! ไม่จำเป็นต้องใช้ AKE!
การเพิ่มประสิทธิภาพพารามิเตอร์ไฮเปอร์-เพิ่มประสิทธิภาพรหัสใด ๆ ด้วยวิธีการกล่องดำและอัลกอริทึมการเพิ่มประสิทธิภาพแบบเบย์ที่ทันสมัย
ไปป์ไลน์ระบบอัตโนมัติ - สร้างท่อส่งตามการทดลอง / งานที่มีอยู่รองรับการสร้างท่อส่งท่อของท่อ!
Slack Integration - รายงานความคืบหน้า / ความล้มเหลวโดยตรงไปยัง Slack (ปรับแต่งได้อย่างสมบูรณ์!)

ทำไมต้อง clearml?

ClearML เป็นทางออกของเราสำหรับปัญหาที่เราแบ่งปันกับนักวิจัยและนักพัฒนาอื่น ๆ นับไม่ถ้วนในจักรวาลการเรียนรู้ของเครื่อง/การเรียนรู้ลึก: การฝึกอบรมแบบจำลองการเรียนรู้ระดับลึกการผลิตเป็นกระบวนการที่มีชื่อเสียง แต่ยุ่ง ClearML ติดตามและควบคุมกระบวนการโดยเชื่อมโยงการควบคุมเวอร์ชันรหัสโครงการวิจัยตัวชี้วัดประสิทธิภาพและที่มาของแบบจำลอง

เราออกแบบ ClearML โดยเฉพาะเพื่อต้องการการบูรณาการอย่างง่ายดายเพื่อให้ทีมสามารถรักษาวิธีการและการปฏิบัติที่มีอยู่ได้

ใช้เป็นประจำทุกวันเพื่อเพิ่มความร่วมมือและการมองเห็นในทีมของคุณ
สร้างงานระยะไกลจากการทดลองใด ๆ ด้วยการคลิกปุ่ม
ทำกระบวนการอัตโนมัติและสร้างท่อเพื่อรวบรวมบันทึกการทดลองเอาต์พุตและข้อมูลของคุณ
จัดเก็บข้อมูลทั้งหมดของคุณในโซลูชันการจัดเก็บวัตถุใด ๆ ด้วยอินเทอร์เฟซที่ตรงไปตรงมาที่สุดเท่าที่จะเป็นไปได้
ทำให้ข้อมูลของคุณโปร่งใสโดยการจัดทำรายการทั้งหมดบนแพลตฟอร์ม ClearML

เราเชื่อว่า ClearML เป็นจุดเริ่มต้น เราต้องการสร้างมาตรฐานใหม่ของการรวมที่ไร้รอยต่ออย่างแท้จริงระหว่างการจัดการการทดลอง MLOPS และการจัดการข้อมูล

เราคือใคร

ClearML ได้รับการสนับสนุนจากคุณและทีม Clear.ml ซึ่งช่วยให้ บริษัท องค์กรสร้าง MLOPs ที่ปรับขนาดได้

เราสร้าง ClearML เพื่อติดตามและควบคุมกระบวนการอันรุ่งโรจน์ แต่ยุ่งเหยิงของการฝึกอบรมรูปแบบการเรียนรู้ระดับลึกการผลิต เรามุ่งมั่นที่จะสนับสนุนและขยายขีดความสามารถของ ClearML อย่างจริงจัง

เราสัญญาว่าจะเข้ากันได้ย้อนหลังอยู่เสมอตรวจสอบให้แน่ใจว่าบันทึกข้อมูลและท่อทั้งหมดของคุณจะอัพเกรดกับคุณเสมอ

ใบอนุญาต

ใบอนุญาต Apache, เวอร์ชัน 2.0 (ดูใบอนุญาตสำหรับข้อมูลเพิ่มเติม)

หาก ClearML เป็นส่วนหนึ่งของกระบวนการพัฒนา / โครงการ / สิ่งพิมพ์โปรดอ้างอิงเรา❤:

 @misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}