comet sdk extensions

Kometx

   _________  ____ ___  ___  / /__  __
  / ___/ __ / __ `__ / _ / __/ |/_/
 / /__/ /_/ / / / / / /  __/ /__>  <
 ___/____/_/ /_/ /_/___/__/_/|_|

Open-Source-Erweiterungen für das Comet SDK.

Diese Erweiterungen werden von der Community erstellt und unterstützt und sind kein offizielles Projekt von Comet ML. Wir freuen uns über Beiträge!

Installation

 pip install cometx

Um diese Befehlszeilenfunktionen verwenden zu können, müssen Sie Ihren Comet-API-Schlüssel auf eine der beiden folgenden Arten festlegen.

1. Umgebungsvariablen
2. Comet-Konfigurationsdatei

Entweder so:

 export COMET_API_KEY="YOUR-COMET-API-KEY"

oder so:

 [comet]
api_key = YOUR-COMET-API-KEY

Wenn Sie ein Comet On-Prem-Benutzer sind, müssen Sie auch die Umgebungsvariable COMET_URL_OVERRIDE festlegen oder sie wie folgt zu Ihrer ~/.comet.config Datei hinzufügen:

Entweder so:

 export COMET_API_KEY="YOUR-COMET-API-KEY"
export COMET_URL_OVERRIDE="https://your-companys-comet.com/clientlib/"

oder so:

 [comet]
api_key = YOUR-COMET-API-KEY
url_override = https://your-companys-comet.com/clientlib/

Verwendung

cometx besteht aus einer Reihe von Unterbefehlen, die unabhängig voneinander nützlich sind und zusammen verwendet werden können, um anspruchsvolle Tools für das ML-Management zu erstellen.

In diesem Abschnitt werden einige häufige Verwendungszwecke untersucht, gefolgt von einer detaillierteren Untersuchung der einzelnen Unterbefehle.

Anwendungsfälle

In diesem Abschnitt untersuchen wir einige häufige Szenarien.

1. Kopieren Sie ein bestimmtes Projekt von einer Comet-Installation in eine andere
2. Kopieren Sie alle Projekte im Arbeitsbereich in einen neuen Arbeitsbereich
3. Kopieren Sie bestimmte Experimente in einem Projekt in neue Experimente

1. Kopieren Sie ein bestimmtes Projekt von einer Comet-Installation in eine andere

Eine nützliche Redewendung besteht darin, Ihre Comet-Umgebungsvariablen in der Zeile eines Unterbefehls festzulegen. Auf diese Weise können Sie COMET_URL_OVERRIDE und COMET_API_KEY für verschiedene Installationen festlegen.

Natürlich müssen Sie die Umgebungsvariablen nicht festlegen, wenn Sie Experimente auf derselben Comet-Installation kopieren.

So können Sie die Experimente in WORKSPACE/PROJECT von http://comet.a.com herunterladen:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT

Der Unterbefehl cometx download “ lädt alle Daten des Comet-Experiments in lokale Dateien herunter. Beachten Sie, dass sich WORKSPACE/PROJECT auf einen Arbeitsbereich und ein Projekt auf http://comet.a.com bezieht.

Anschließend könnte man die heruntergeladenen Experimentdaten mit einem ähnlichen Befehl kopieren:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT NEW-WORKSPACE/NEW-PROJECT

Beachten Sie, dass sich WORKSPACE/PROJECT jetzt auf ein Verzeichnis und NEW-WORKSPACE/NEW-PROJECT auf einen Arbeitsbereich und ein Projekt auf http://comet.b.com bezieht.

2. Kopieren Sie alle Projekte im Arbeitsbereich in einen neuen Arbeitsbereich

Ebenso kann man alle Projekte kopieren, indem man sie zunächst herunterlädt:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE

und dann kopieren:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE NEW-WORKSPACE

3. Kopieren Sie bestimmte Experimente in einem Projekt in neue Experimente

Ebenso kann man ein einzelnes Experiment kopieren, indem man es zunächst herunterlädt:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID

und dann kopieren:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID NEW-WORKSPACE/NEW-PROJECT

Unterbefehle

• Cometx-Liste
• Cometx-Download
• Cometx-Kopie
• Cometx-Protokoll
• Cometx reproduzieren
• cometx delete-assets

Verwenden Sie für alle Unterbefehle das Flag --help , um zusätzliche Informationen zu erhalten.

Cometx-Liste

Dieser Befehl wird verwendet, um:

• Erhalten Sie eine Liste aller Arbeitsbereiche, in denen Sie Mitglied sind
• Erhalten Sie eine Liste aller Projekte in einem Arbeitsbereich
• Erhalten Sie eine Liste aller Experimente (nach Name oder Schlüssel) in einem Projekt

Beispiele für Cometx-Listen:

 cometx list WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME
cometx list WORKSPACE/PROJECT
cometx list WORKSPACE
cometx list

Flaggen

• --query – wird verwendet, um die Anzahl der herunterzuladenden Experimente einzuschränken (weitere Informationen finden Sie unter experiment.api.query()).
• -u , --use-name – Experimentnamen für Experimentordner und -listen verwenden

Weitere Informationen finden Sie cometx list --help

Cometx-Kopie

Dieser Befehl wird verwendet, um:

• Kopieren Sie heruntergeladene Daten in ein neues Experiment
• Erstellen Sie einen Symlink von einem Projekt zu vorhandenen Experimenten

Beispiele für Cometx-Kopien:

 cometx SOURCE DESTINATION
cometx --symlink SOURCE DESTINATION

wobei SOURCE ist:

• wenn nicht --symlink , Ordner „WORKSPACE/PROJECT/EXPERIMENT“, „WORKSPACE/PROJECT/ “ oder „WORKSPACE/ /*“ (Anführungszeichen verwenden)
• wenn --symlink , dann ist es ein Comet-Pfad zum Arbeitsbereich oder Arbeitsbereich/Projekt

wobei ZIEL ist:

• ARBEITSPLATZ
• ARBEITSBEREICH/PROJEKT

Nicht alle Kombinationen sind möglich:

Ziel → Quelle ↓	ARBEITSPLATZ	ARBEITSBEREICH/PROJEKT
WORKSPACE/*/*	Kopiert alle Projekte	N / A
WORKSPACE/PROJ/*	N / A	Kopiert alle Experimente
WORKSPACE/PROJ/EXP	N / A	Kopiert Experiment

Weitere Informationen finden Sie cometx copy --help

Cometx-Download

Dieser Befehl wird verwendet, um:

• Laden Sie alle Arbeitsbereiche, Projekte und Experimente der Arbeitsbereiche herunter, in denen Sie Mitglied sind
• Laden Sie alle Projekte und Experimente eines bestimmten Arbeitsbereichs herunter
• Laden Sie alle Experimente eines bestimmten Arbeitsbereichs/Projekts herunter

Cometx-Download-Beispiele:

 cometx download WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE/PROJECT [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE [RESOURCE ...] [FLAGS ...]
cometx download [RESOURCE ...] [FLAGS ...]

Dabei ist [RESOURCE ...] null oder mehr der folgenden Namen:

• Vermögenswerte
• html
• Metadaten
• Metriken
• andere
• Parameter
• Projekt – Alias ​​für: project_notes, project_metadata
• run – Alias ​​für: Code, Git, Ausgabe, Diagramm und Anforderungen
• System

Wenn keine RESSOURCE angegeben ist, werden alle heruntergeladen.

Flaggen

• --query – wird verwendet, um die Anzahl der herunterzuladenden Experimente einzuschränken (weitere Informationen finden Sie unter experiment.api.query()).
• --list – zum Auflisten verfügbarer Arbeitsbereiche, Projekte, Experimente, Artefakte oder Modelle verwenden (identisch mit cometx list “)
• --output – Ressourcen in einen anderen Ordner als den aktuellen herunterladen
• --flat – nicht die normale Hierarchie für heruntergeladene Elemente verwenden
• --use-name – Experimentnamen für Ordner und Auflistungen verwenden
• --ignore – Laden Sie die folgenden Ressourcen nicht herunter (verwenden Sie einen oder mehrere RESSOURCENnamen von oben)
• --asset-type – zuzuordnender Asset-Typ oder weglassen, um alle abzugleichen
• --filename – Dateiname zum Abgleichen, oder weglassen, um alle abzugleichen
• --overwrite – alle vorhandenen Dateien überschreiben
• --force – Bitten Sie nicht um den Download, sondern tun Sie es einfach
• --help – diese Nachricht

So laden Sie Artefakte herunter:

 cometx download WORKSPACE/artifacts/NAME [FLAGS ...]
cometx download WORKSPACE/artifacts/NAME/VERSION-OR-ALIAS [FLAGS ...]

So laden Sie Modelle aus der Modellregistrierung herunter:

 cometx download WORKSPACE/model-registry/NAME [FLAGS ...]
cometx download WORKSPACE/model-registry/NAME/VERSION-OR-STAGE [FLAGS ...]

Weitere Informationen finden Sie cometx download --help

Cometx-Protokoll

Dieser Befehl wird verwendet, um eine Ressourcendatei (Metriken, Parameter, Asset usw.) für ein bestimmtes Experiment oder bestimmte Experimente zu protokollieren.

Beispiel für ein Cometx-Protokoll:

 cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [--type TYPE] FILENAME.EXT

Dabei ist TYPE der Asset-Typ des Dateinamens. TYPE wird nicht benötigt, wenn die Dateinamenerweiterung (FILENAME.EXT) bekannt ist.

Bekannte Erweiterungen:

• png
• jpg
• GIF
• txt
• webm
• mp4
• ogg
• ipynb
• wav
• mp3

Bekannte Typen:

• Vermögenswert
• Bild
• Textbeispiel
• Video
• ipynb
• Audio-

Beispiel zum Festlegen eines anderen Schlüsselwerts:

 cometx log WORKSPACE/PROJECT --type other --set "key:value"
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME --type other --set "key:value"

Die erste Version legt den anderen Schlüsselwert in allen Experimenten in einem Projekt fest, und die zweite Version legt den anderen Schlüsselwert im Experiment fest.

Beispiel zum Protokollieren aller Elemente:

 cometx log WORKSPACE/PROJECT PATH-TO-DOWNLOAD --type all
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME PATH-TO-DOWNLOAD --type all

Die erste Version erstellt ein Experiment und die zweite protokolliert alles in einem vorhandenen Experiment.

Flaggen

• --query – wird verwendet, um die Anzahl der herunterzuladenden Experimente einzuschränken (weitere Informationen finden Sie unter experiment.api.query()).
• --type – der Typ des zu protokollierenden Elements
• --set – der zu protokollierende „Schlüssel:Wert“.

Weitere Informationen finden Sie cometx log --help

cometx delete-assets

So löschen Sie Test-Assets:

 cometx delete-assets WORKSPACE/PROJECT --type=image
cometx delete-assets WORKSPACE/PROJECT/EXPERIMENT --type=all

Der Typ kann ein gültiger Asset-Typ sein, einschließlich:

• alle
• Vermögenswert
• Audio-
• Code
• Bild
• Notizbuch
• Textbeispiel
• Video

Weitere Informationen finden Sie cometx delete-assets --help

Cometx reproduzieren

 cometx reproduce [-h] [--run] [--executable EXECUTABLE] COMET_PATH OUTPUT_DIR

Weitere Informationen finden Sie cometx reproduce --help

Ausführen von Tests

WARNUNG: Wenn Sie die Tests ausführen, werden Experimente, Modelle, Assets usw. in Ihrem Standardarbeitsbereich erstellt, sofern nicht anders festgelegt.

Um die Tests auszuführen, können Sie entweder alle diese Elemente in die Umgebung exportieren:

$ export COMET_USER= "  "
$ export COMET_WORKSPACE= "  "
$ export COMET_API_KEY= "  "
$ pytest tests

Oder definieren Sie workspace und api_key in Ihrer ~/.comet.config-Datei:

$ export COMET_USER= "  "
$ pytest tests