clearml下载 - clearml源代码下载

clearml

其他源码

v1.16.5 - ClearML

下载

清除| ML

ClearMl-自动魔术套件，用于简化AI工作流程的工具
实验经理，MLOPS/LLMOPS和数据管理

? ClearML is open-source - Leave a star to support the project! ?

clearml

^{以前称为Allegro火车}

ClearMl是ML/DL开发和生产套件。它包含五个主要模块：

实验经理 - 自动实验跟踪，环境和结果
MLOPS / LLMOPS-用于ML / DL / Genai Jobs的编排，自动化和管道解决方案（Kubernetes / Cloud / Bare -Metal）
数据管理 - 对象存储（S3 / gs / azure / nas）上完全可区分的数据管理和版本控制解决方案
模型服务 -可云的可扩展模型服务解决方案！
- 在不到5分钟内部署新型号端点
- 包括由Nvidia-Triton支持的优化GPU服务支持
- 与开箱即用的模型监视
报告 - 创建和共享支持可嵌入在线内容的丰富的Markdown文档
编排仪表板 - 整个计算群集的活丰富仪表板（云 / kubernetes /本地）
新的？分数GPU-基于容器的驱动程序级GPU内存限制？ !!!!

仪器这些组件是Clearml-Server ，请参阅自托管和免费层托管

注册并在不到2分钟内开始使用

友好的教程让您入门

步骤1-实验管理
步骤2-远程执行代理设置
步骤3-远程执行任务

实验管理	数据集


编排	管道

Clearml实验经理

在您的代码中仅添加2行

完整的实验设置日志
- 完整的源控制信息，包括非承诺的本地更改
- 执行环境（包括特定的软件包和版本）
- 超参数
  - argparse /click /pythonfire，用于具有当前使用值的命令行参数
  - 显式参数字典
  - TensorFlow定义（absl-py）
  - 九头蛇配置和覆盖
- 初始型号权重文件
完整的实验输出自动捕获
- Stdout和Stderr
- 资源监控（CPU/GPU利用率，温度，IO，网络等）
- 模型快照（带有可选的自动上传到中央存储：共享文件夹，S3，GS，Azure，HTTP）
- 文物日志和商店（共享文件夹，S3，GS，Azure，HTTP）
- 张量/张板标量，指标，直方图，图像，音频和视频样本
- Matplotlib＆Seaborn
- ClearML记录器接口可完全灵活。
广泛的平台支持和集成
- 支持的ML / DL框架：Pytorch（含量 /闪电），Tensorflow，keras，autokeras，fastai，xgboost，lightgbm，megengine，megengine和scikit-learn
- 与Jupyter笔记本和Pycharm远程调试，无缝集成（包括版本控制）

开始使用clearml

免费注册到ClearML托管服务（或者，您可以设置自己的服务器，请参阅此处）。
ClearML演示服务器： ClearML默认情况下不再使用演示服务器。要启用演示服务器，请设置CLEARML_NO_DEFAULT_SERVER=0环境变量。不需要凭据，但是向演示服务器启动的实验是公开的，因此，如果使用演示服务器，请确保不要启动敏感实验。
安装clearml Python软件包：
```
pip install clearml
```
通过创建凭据，将ClearMl SDK连接到服务器，然后执行下面的命令并按照说明：
```
clearml-init
```

在您的代码中添加两行：

 from clearml import Task
task = Task . init ( project_name = 'examples' , task_name = 'hello world' )

你就完成了！现在，您的流程输出的所有内容已自动登录到ClearMl。

下一步，自动化！在此处了解有关ClearML的两键自动化的更多信息。

Clearml架构

ClearML运行时组件：

Clearml Python软件包 - 仅通过添加两行代码来将ClearMl集成到您现有的脚本中，并可以选择使用Clearml功能强大且功能多功能的类和方法来扩展实验和其他工作流程。
ClearMl Server-用于存储实验，模型和工作流数据；支持Web UI实验管理器和MLOP自动化以进行可重复性和调整。它可作为托管服务和开源，供您部署自己的ClearMl Server。
ClearMl试剂 - 用于MLOPS编排，实验和工作流的可重复性以及可伸缩性。

其他模块

Clearml-Session-在任何Docker内部启动远程Jupyterlab / vscode-server
clearml -task-在远程计算机上运行任何代码库，并具有张量板，matplotlib＆Console Outputs的完整远程记录
ClearMl -DATA-用于管理和版本数据集的CLI，包括从S3/GS/Azure/NAS创建/上传/下载数据
AWS Auto -Scaler-根据预算预先配置的工作负载自动旋转EC2实例！无需AKE！
超参数优化 - 使用黑框方法和最先进的贝叶斯优化算法优化任何代码
自动化管道 - 基于现有的实验 /作业建立管道，支持构建管道管道！
Slack集成 - 报告实验进展 /直接无法进行Slack（完全可自定义！）

为什么要Clearml？

ClearMl是我们解决与机器学习/深度学习宇宙中无数其他研究人员和开发人员分享的问题的解决方案：培训生产级深度学习模型是一个光荣但凌乱的过程。 ClearML通过关联代码版本控制，研究项目，绩效指标和模型出处来跟踪和控制该过程。

我们专门设计了ClearML，以需要轻松的集成，以便团队可以保留其现有的方法和实践。

每天使用它来提高团队中的协作和可见性
通过单击按钮创建任何实验的远程作业
自动化过程并创建管道以收集您的实验日志，输出和数据
将所有数据存储在任何对象存储解决方案上，并具有最直接的接口
通过在ClearML平台上将所有内容分类来使您的数据透明

我们认为ClearML是开创性的。我们希望在实验管理，MLOP和数据管理之间建立真正无缝集成的新标准。

我们是谁

ClearML得到您和Clear.ml团队的支持，该团队可帮助企业公司建立可扩展的MLOP。

我们建立了ClearML，以跟踪和控制训练生产级深度学习模型的光荣但混乱的过程。我们致力于大力支持和扩大ClearMl的能力。

我们保证将始终向后兼容，确保您的所有日志，数据和管道将始终与您升级。

执照

Apache许可证，版本2.0（有关更多信息，请参见许可证）

如果ClearMl是您的开发过程 /项目 /出版物的一部分，请引用我们❤️：

 @misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}