clearml下載 - clearml源代碼下載

clearml

其他源碼

v1.16.5 - ClearML

下載

清除| ML

ClearMl-自動魔術套件，用於簡化AI工作流程的工具
實驗經理，MLOPS/LLMOPS和數據管理

? ClearML is open-source - Leave a star to support the project! ?

clearml

^{以前稱為Allegro火車}

ClearMl是ML/DL開發和生產套件。它包含五個主要模塊：

實驗經理 - 自動實驗跟踪，環境和結果
MLOPS / LLMOPS-用於ML / DL / Genai Jobs的編排，自動化和管道解決方案（Kubernetes / Cloud / Bare -Metal）
數據管理 - 對象存儲（S3 / gs / azure / nas）上完全可區分的數據管理和版本控制解決方案
模型服務 -可云的可擴展模型服務解決方案！
- 在不到5分鐘內部署新型號端點
- 包括由Nvidia-Triton支持的優化GPU服務支持
- 與開箱即用的模型監視
報告 - 創建和共享支持可嵌入在線內容的豐富的Markdown文檔
編排儀表板 - 整個計算群集的活豐富儀表板（雲 / kubernetes /本地）
新的？分數GPU-基於容器的驅動程序級GPU內存限制？ !!!!

儀器這些組件是Clearml-Server ，請參閱自託管和免費層託管

註冊並在不到2分鐘內開始使用

友好的教程讓您入門

步驟1-實驗管理
步驟2-遠程執行代理設置
步驟3-遠程執行任務

實驗管理	數據集


編排	管道

Clearml實驗經理

在您的代碼中僅添加2行

完整的實驗設置日誌
- 完整的源控制信息，包括非承諾的本地更改
- 執行環境（包括特定的軟件包和版本）
- 超參數
  - argparse /click /pythonfire，用於具有當前使用值的命令行參數
  - 顯式參數字典
  - TensorFlow定義（absl-py）
  - 九頭蛇配置和覆蓋
- 初始型號權重文件
完整的實驗輸出自動捕獲
- Stdout和Stderr
- 資源監控（CPU/GPU利用率，溫度，IO，網絡等）
- 模型快照（帶有可選的自動上傳到中央存儲：共享文件夾，S3，GS，Azure，HTTP）
- 文物日誌和商店（共享文件夾，S3，GS，Azure，HTTP）
- 張量/張板標量，指標，直方圖，圖像，音頻和視頻樣本
- Matplotlib＆Seaborn
- ClearML記錄器接口可完全靈活。
廣泛的平台支持和集成
- 支持的ML / DL框架：Pytorch（含量 /閃電），Tensorflow，keras，autokeras，fastai，xgboost，lightgbm，megengine，megengine和scikit-learn
- 與Jupyter筆記本和Pycharm遠程調試，無縫集成（包括版本控制）

開始使用clearml

免費註冊到ClearML託管服務（或者，您可以設置自己的服務器，請參閱此處）。
ClearML演示服務器： ClearML默認情況下不再使用演示服務器。要啟用演示服務器，請設置CLEARML_NO_DEFAULT_SERVER=0環境變量。不需要憑據，但是向演示服務器啟動的實驗是公開的，因此，如果使用演示服務器，請確保不要啟動敏感實驗。
安裝clearml Python軟件包：
```
pip install clearml
```
通過創建憑據，將ClearMl SDK連接到服務器，然後執行下面的命令並按照說明：
```
clearml-init
```

在您的代碼中添加兩行：

 from clearml import Task
task = Task . init ( project_name = 'examples' , task_name = 'hello world' )

你就完成了！現在，您的流程輸出的所有內容已自動登錄到ClearMl。

下一步，自動化！在此處了解有關ClearML的兩鍵自動化的更多信息。

Clearml架構

ClearML運行時組件：

Clearml Python軟件包 - 僅通過添加兩行代碼來將ClearMl集成到您現有的腳本中，並可以選擇使用Clearml功能強大且功能多功能的類和方法來擴展實驗和其他工作流程。
ClearMl Server-用於存儲實驗，模型和工作流數據；支持Web UI實驗管理器和MLOP自動化以進行可重複性和調整。它可作為託管服務和開源，供您部署自己的ClearMl Server。
ClearMl試劑 - 用於MLOPS編排，實驗和工作流的可重複性以及可伸縮性。

其他模塊

Clearml-Session-在任何Docker內部啟動遠程Jupyterlab / vscode-server
clearml -task-在遠程計算機上運行任何代碼庫，並具有張量板，matplotlib＆Console Outputs的完整遠程記錄
ClearMl -DATA-用於管理和版本數據集的CLI，包括從S3/GS/Azure/NAS創建/上傳/下載數據
AWS Auto -Scaler-根據預算預先配置的工作負載自動旋轉EC2實例！無需AKE！
超參數優化 - 使用黑框方法和最先進的貝葉斯優化算法優化任何代碼
自動化管道 - 基於現有的實驗 /作業建立管道，支持構建管道管道！
Slack集成 - 報告實驗進展 /直接無法進行Slack（完全可自定義！）

為什麼要Clearml？

ClearMl是我們解決與機器學習/深度學習宇宙中無數其他研究人員和開發人員分享的問題的解決方案：培訓生產級深度學習模型是一個光榮但凌亂的過程。 ClearML通過關聯代碼版本控制，研究項目，績效指標和模型出處來跟踪和控制該過程。

我們專門設計了ClearML，以需要輕鬆的集成，以便團隊可以保留其現有的方法和實踐。

每天使用它來提高團隊中的協作和可見性
通過單擊按鈕創建任何實驗的遠程作業
自動化過程並創建管道以收集您的實驗日誌，輸出和數據
將所有數據存儲在任何對象存儲解決方案上，並具有最直接的接口
通過在ClearML平台上將所有內容分類來使您的數據透明

我們認為ClearML是開創性的。我們希望在實驗管理，MLOP和數據管理之間建立真正無縫集成的新標準。

我們是誰

ClearMl得到您和Clear.ml團隊的支持，該團隊可幫助企業公司建立可擴展的MLOP。

我們建立了ClearML，以跟踪和控制訓練生產級深度學習模型的光榮但混亂的過程。我們致力於大力支持和擴大ClearMl的能力。

我們保證將始終向後兼容，確保您的所有日誌，數據和管道將始終與您升級。

執照

Apache許可證，版本2.0（有關更多信息，請參見許可證）

如果ClearMl是您的開發過程 /項目 /出版物的一部分，請引用我們❤️：

 @misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}