clearmlダウンロードclearmlソースコードのダウンロード

clearml

その他のソースコード

v1.16.5 - ClearML

ダウンロード

クリア| ml

ClearML -AIワークフローを合理化するためのツールのオートマジカルスイート
実験マネージャー、MLOPS/LLMOPSおよびデータ管理

? ClearML is open-source - Leave a star to support the project! ?

ClearMl

^{以前はAllegro Trainsとして知られていました}

CLEARMLはML/DL開発および生産スイートです。 5つの主要なモジュールが含まれています。

実験マネージャー - 自動的な実験追跡、環境、結果
MLOPS / LLMOPS- ML / DL / GENAIジョブ用のオーケストレーション、自動化、パイプラインソリューション（Kubernetes / Cloud / Bare -Metal）
データ管理 - オブジェクトストレージ（S3 / gs / azure / nas）の上にある完全に微分可能なデータ管理とバージョン制御ソリューション
モデルサービング -クラウド対応のスケーラブルモデルサービングソリューション！
- 5分以内に新しいモデルのエンドポイントを展開します
- Nvidia-Tritonが支援する最適化されたGPUサービングサポートが含まれています
- すぐにボックスモデルの監視を備えています
レポート - 埋め込み可能なオンラインコンテンツをサポートするリッチマークダウンドキュメントの作成と共有
オーケストレーションダッシュボード - コンピューティングクラスター全体のライブリッチダッシュボード（クラウド / kubernetes / onprem）
新しい？分数GPU-コンテナベース、ドライバーレベルGPUメモリ制限？ !!!

これらのコンポーネントの機器はClearMl-Serverです。自己ホスティングと無料ティアホスティングを参照してください

サインアップして2分以内に使用を開始します

あなたを始めるためのフレンドリーなチュートリアル

ステップ1-実験管理
ステップ2-リモート実行エージェントのセットアップ
ステップ3-リモートでタスクを実行します

実験管理	データセット


オーケストレーション	パイプライン

ClearMl実験マネージャー

コードに2行のみを追加すると、次のことが得られます

完全な実験セットアップログ
- 非コミットされたローカル変更を含む完全なソース制御情報
- 実行環境（特定のパッケージとバージョンを含む）
- ハイパーパラメーター
  - argparse /click /pythonfire現在使用されているコマンドラインパラメーターのパラメーター
  - 明示的なパラメーター辞書
  - Tensorflowが定義する（absl-py）
  - Hydraの構成とオーバーライド
- 初期モデルの重みファイル
完全な実験出力自動キャプチャ
- stdoutとstderr
- リソース監視（CPU/GPU利用、温度、IO、ネットワークなど）
- モデルスナップショット（中央ストレージへのオプションの自動アップロード：共有フォルダー、S3、GS、Azure、HTTP）
- Artifacts Log＆Store（共有フォルダー、S3、GS、Azure、HTTP）
- Tensorboard/Tensorboardxスカラー、メトリック、ヒストグラム、画像、オーディオ、ビデオサンプル
- Matplotlib＆Seaborn
- ClearMlロガーインターフェイスを完全に柔軟に行います。
広範なプラットフォームのサポートと統合
- サポートされているML / DLフレームワーク：Pytorch（ 'Ignite / Lightningを含む）、Tensorflow、Keras、Autokeras、Fastai、Xgboost、LightGBM、Megengine、Scikit-Learn
- JupyterノートブックとPycharmリモートデバッグを使用したシームレスな統合（バージョン制御を含む）

ClearMlの使用を開始します

ClearMLホストサービスに無料でサインアップします（または、独自のサーバーをセットアップして、こちらをご覧ください）。
ClearMl Demo Server： ClearMLは、デフォルトでデモサーバーを使用しなくなりました。デモサーバーを有効にするには、 CLEARML_NO_DEFAULT_SERVER=0環境変数を設定します。資格情報は必要ありませんが、デモサーバーに起動された実験は公開されているため、デモサーバーを使用している場合は敏感な実験を起動しないようにしてください。
clearml Pythonパッケージをインストールします。
```
pip install clearml
```
Clearml SDKをクレデンシャルを作成してサーバーに接続し、以下のコマンドを実行して、指示に従ってください。
```
clearml-init
```

コードに2行を追加します。

 from clearml import Task
task = Task . init ( project_name = 'examples' , task_name = 'hello world' )

そして、あなたは終わりました！プロセス出力がすべてClearMLに自動的にログインされるようになりました。

次のステップ、自動化！ ClearMLの2クリックオートメーションの詳細については、こちらをご覧ください。

ClearMlアーキテクチャ

ClearMlランタイムコンポーネント：

ClearMl Pythonパッケージ - ClearMLを2行のコードを追加して既存のスクリプトに統合し、オプションでClearMLの強力で多用途のクラスと方法で実験やその他のワークフローを拡張します。
ClearMLサーバー - 実験、モデル、およびワークフローデータを保存するため。再現性とチューニングのために、Web UI実験マネージャーとMLOPSオートメーションをサポートします。ホストされたサービスとして、独自のClearMLサーバーを展開するためのオープンソースとして利用できます。
CLEARMLエージェント - MLOPSオーケストレーション、実験、ワークフローの再現性、およびスケーラビリティ。

追加のモジュール

clearml-session- cloud / onpremマシン上の任意のDocker内のリモートJupyterlab / vscode-serverを起動する
ClearMl -Task -Tensorboard、Matplotlib、Console出力の完全なリモートロギングを備えたリモートマシンで任意のコードベースを実行する
clearml -data -s3/gs/azure/nasからのデータの作成/アップロード/ダウンロードなど、データセットの管理とバージョンのためのCLI
AWS Auto -Scaler-事前に設定された予算でワークロードに基づいてEC2インスタンスを自動的にスピンします！ Akeは必要ありません！
ハイパーパラメーターの最適化 - ブラックボックスアプローチと最先端のベイジアン最適化アルゴリズムを使用したコードを最適化する
オートメーションパイプライン - 既存の実験 /ジョブに基づいてパイプラインを構築すると、パイプラインのパイプラインの構築をサポートします！
Slack統合 - 実験の報告の進行 /故障を直接Slackに直接報告します（完全にカスタマイズ可能です！）

なぜClearMl？

ClearMLは、機械学習/ディープラーニングユニバースの他の無数の研究者や開発者と共有する問題の解決策です。 CLEARMLは、コードバージョンの制御、研究プロジェクト、パフォーマンスメトリック、およびモデルの起源を関連付けることにより、プロセスを追跡および制御します。

チームが既存の方法とプラクティスを維持できるように、楽な統合を必要とするように特別にClearMLを設計しました。

あなたのチームのコラボレーションと可視性を高めるために、毎日それを使用してください
ボタンをクリックして、あらゆる実験からリモートジョブを作成する
プロセスを自動化し、パイプラインを作成して、実験ログ、出力、データを収集する
すべてのデータをオブジェクトストレージソリューションに保存します。
ClearMLプラットフォームですべてをカタログ化することにより、データを透明にします

ClearMlは画期的であると信じています。実験管理、MLOP、およびデータ管理の間の真のシームレスな統合の新しい標準を確立したいと考えています。

私たちは誰ですか

ClearMLは、あなたとClear.MLチームによってサポートされています。

私たちは、生産グレードのディープラーニングモデルをトレーニングする輝かしいが乱雑なプロセスを追跡および制御するためのClearMLを構築しました。私たちは、ClearMLの機能を積極的にサポートし、拡大することに取り組んでいます。

私たちは常に後方に互換性があることを約束し、すべてのログ、データ、パイプラインが常にアップグレードされるようにします。

ライセンス

Apacheライセンス、バージョン2.0（詳細についてはライセンスを参照）

ClearMLが開発プロセス /プロジェクト /出版物の一部である場合、私たちに引用してください❤️：

 @misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}