comet sdk extensions
Version 2.2.17
_________ ____ ___ ___ / /__ __
/ ___/ __ / __ `__ / _ / __/ |/_/
/ /__/ /_/ / / / / / / __/ /__> <
___/____/_/ /_/ /_/___/__/_/|_|
Comet SDK のオープンソース拡張機能。
これらの拡張機能はコミュニティによって作成およびサポートされており、Comet ML の公式プロジェクトではありません。寄付を歓迎します!
pip install cometx
これらのコマンドライン関数を使用するには、次の 2 つの方法のいずれかで Comet API キーを設定する必要があります。
次のいずれかの方法で:
export COMET_API_KEY="YOUR-COMET-API-KEY"
またはこの方法:
[comet]
api_key = YOUR-COMET-API-KEY
Comet オンプレミス ユーザーの場合は、 COMET_URL_OVERRIDE環境変数を設定するか、以下のように~/.comet.configファイルに追加する必要があります。
次のいずれかの方法で:
export COMET_API_KEY="YOUR-COMET-API-KEY"
export COMET_URL_OVERRIDE="https://your-companys-comet.com/clientlib/"
またはこの方法:
[comet]
api_key = YOUR-COMET-API-KEY
url_override = https://your-companys-comet.com/clientlib/
cometxは、単独でも便利な一連のサブコマンドで構成されており、一緒に使用して ML 管理用の高度なツールを作成できます。
このセクションでは、いくつかの一般的な使用法を検討し、その後、各サブコマンドをより詳細に説明します。
このセクションでは、いくつかの一般的なシナリオについて説明します。
便利なイディオムは、サブコマンドの行で Comet 環境変数を設定することです。この方法で、異なるインストールに対してCOMET_URL_OVERRIDEとCOMET_API_KEY設定できます。
もちろん、同じ Comet インストール上で実験をコピーする場合は、環境変数を設定する必要はありません。
http://comet.a.com から WORKSPACE/PROJECT の実験をダウンロードする方法は次のとおりです。
COMET_URL_OVERRIDE=http://comet.a.com/clientlib
COMET_API_KEY=A-KEY
cometx download WORKSPACE/PROJECT cometx downloadサブコマンドは、すべての Comet 実験データをローカル ファイルにダウンロードします。 WORKSPACE/PROJECT は http://comet.a.com 上のワークスペースとプロジェクトを指すことに注意してください。
次に、同様のコマンドを使用して、ダウンロードした実験データをコピーできます。
COMET_URL_OVERRIDE=http://comet.b.com/clientlib
COMET_API_KEY=B-KEY
cometx copy WORKSPACE/PROJECT NEW-WORKSPACE/NEW-PROJECTWORKSPACE/PROJECT はディレクトリを参照し、NEW-WORKSPACE/NEW-PROJECT は http://comet.b.com 上のワークスペースとプロジェクトを参照することに注意してください。
同様に、最初にプロジェクトをダウンロードすることで、すべてのプロジェクトをコピーできます。
COMET_URL_OVERRIDE=http://comet.a.com/clientlib
COMET_API_KEY=A-KEY
cometx download WORKSPACEそしてそれらをコピーします:
COMET_URL_OVERRIDE=http://comet.b.com/clientlib
COMET_API_KEY=B-KEY
cometx copy WORKSPACE NEW-WORKSPACE同様に、最初に単一の実験をコピーしてダウンロードすることもできます。
COMET_URL_OVERRIDE=http://comet.a.com/clientlib
COMET_API_KEY=A-KEY
cometx download WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-IDそしてそれをコピーします:
COMET_URL_OVERRIDE=http://comet.b.com/clientlib
COMET_API_KEY=B-KEY
cometx copy WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID NEW-WORKSPACE/NEW-PROJECTすべてのサブコマンドで、 --helpフラグを使用して追加情報を取得します。
このコマンドは次の目的で使用されます。
Cometx リストの例:
cometx list WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME
cometx list WORKSPACE/PROJECT
cometx list WORKSPACE
cometx list
--query - ダウンロードする実験を制限するために使用します (詳細については、experiment.api.query() を参照してください)-u 、 --use-name - 実験フォルダーとリストに実験名を使用します。詳細については、 cometx list --help
このコマンドは次の目的で使用されます。
Cometx コピーの例:
cometx SOURCE DESTINATION
cometx --symlink SOURCE DESTINATION
ここで、ソースは次のとおりです。
--symlink 、「WORKSPACE/PROJECT/EXPERIMENT」、「WORKSPACE/PROJECT/ 」、または「WORKSPACE/ /*」フォルダー (引用符を使用)--symlinkの場合、ワークスペースまたはワークスペース/プロジェクトへの Comet パスです。ここで、DESTINATION は次のとおりです。
すべての組み合わせが可能であるわけではありません。
| 目的地→ 出典↓ | ワークスペース | ワークスペース/プロジェクト |
|---|---|---|
WORKSPACE/*/* | すべてのプロジェクトをコピーします | 該当なし |
WORKSPACE/PROJ/* | 該当なし | すべての実験をコピーします |
WORKSPACE/PROJ/EXP | 該当なし | コピー実験 |
詳細については、 cometx copy --help
このコマンドは次の目的で使用されます。
Cometx のダウンロード例:
cometx download WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE/PROJECT [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE [RESOURCE ...] [FLAGS ...]
cometx download [RESOURCE ...] [FLAGS ...]
ここで、[RESOURCE ...] は次の名前の 0 個以上です。
RESOURCE が指定されていない場合は、すべてのファイルがダウンロードされます。
--query - ダウンロードする実験を制限するために使用します (詳細については、experiment.api.query() を参照してください)--list - 利用可能なワークスペース、プロジェクト、実験、アーティファクト、またはモデルをリストするために使用します ( cometx listと同じ)--output - 現在のフォルダー以外のフォルダーにリソースをダウンロードします。--flat - ダウンロードされた項目に通常の階層を使用しません。--use-name - フォルダーとリストに実験名を使用します--ignore - 次のリソースをダウンロードしません (上記の 1 つ以上のリソース名を使用します)--asset-type - 一致させるアセット タイプ、またはすべてに一致させるにはオフのままにします--filename - 一致させるファイル名、またはすべてに一致させるにはオフのままにします--overwrite - 既存のファイルを上書きします--force - ダウンロードを要求するのではなく、ダウンロードするだけです--help - このメッセージアーティファクトをダウンロードするには:
cometx download WORKSPACE/artifacts/NAME [FLAGS ...]
cometx download WORKSPACE/artifacts/NAME/VERSION-OR-ALIAS [FLAGS ...]
モデル レジストリからモデルをダウンロードするには:
cometx download WORKSPACE/model-registry/NAME [FLAGS ...]
cometx download WORKSPACE/model-registry/NAME/VERSION-OR-STAGE [FLAGS ...]
詳細については、 cometx download --help
このコマンドは、リソース (メトリクス、パラメーター、アセットなど) ファイルを特定の実験に記録するために使用されます。
Cometx ログの例:
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [--type TYPE] FILENAME.EXT
ここで、TYPE はファイル名のアセット タイプです。ファイル名拡張子 (FILENAME.EXT) がわかっている場合、TYPE は必要ありません。
既知の拡張子:
既知のタイプ:
他のキー:値を設定する例:
cometx log WORKSPACE/PROJECT --type other --set "key:value"
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME --type other --set "key:value"
最初のバージョンはプロジェクト内のすべての実験で他の key:value を設定し、2 番目のバージョンは実験で他の key:value を設定します。
すべての項目をログに記録する例:
cometx log WORKSPACE/PROJECT PATH-TO-DOWNLOAD --type all
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME PATH-TO-DOWNLOAD --type all
最初のバージョンでは実験が作成され、2 番目のバージョンではすべてが既存の実験に記録されます。
--query - ダウンロードする実験を制限するために使用します (詳細については、experiment.api.query() を参照してください)--type - ログに記録する項目のタイプ--set - ログに記録する「キー:値」詳細については、 cometx log --help
実験アセットを削除するには:
cometx delete-assets WORKSPACE/PROJECT --type=image
cometx delete-assets WORKSPACE/PROJECT/EXPERIMENT --type=all
タイプには、次のような有効なアセット チュープを指定できます。
詳細については、 cometx delete-assets --help
cometx reproduce [-h] [--run] [--executable EXECUTABLE] COMET_PATH OUTPUT_DIR
詳細については、 cometx reproduce --help
警告: テストを実行すると、他の設定がされていない場合、デフォルトのワークスペースに実験、モデル、アセットなどが作成されます。
テストを実行するには、環境内のこれらの項目をすべてエクスポートします。
$ export COMET_USER= " "
$ export COMET_WORKSPACE= " "
$ export COMET_API_KEY= " "
$ pytest testsまたは、~/.comet.config ファイルでworkspaceとapi_key定義します。
$ export COMET_USER= " "
$ pytest tests
