comet sdk extensions

cometa

   _________  ____ ___  ___  / /__  __
  / ___/ __ / __ `__ / _ / __/ |/_/
 / /__/ /_/ / / / / / /  __/ /__>  <
 ___/____/_/ /_/ /_/___/__/_/|_|

Extensiones de código abierto para Comet SDK.

Estas extensiones son creadas y respaldadas por la comunidad y no son un proyecto oficial de Comet ML. ¡Agradecemos las contribuciones!

Instalación

 pip install cometx

Para utilizar estas funciones de línea de comandos, necesitará tener su clave API de Comet configurada de una de las dos maneras siguientes.

1. Variables ambientales
2. Archivo de configuración del cometa

O de esta manera:

 export COMET_API_KEY="YOUR-COMET-API-KEY"

o de esta manera:

 [comet]
api_key = YOUR-COMET-API-KEY

Si es un usuario local de Comet, también deberá configurar la variable de entorno COMET_URL_OVERRIDE o agregarla a su archivo ~/.comet.config como se muestra a continuación:

O de esta manera:

 export COMET_API_KEY="YOUR-COMET-API-KEY"
export COMET_URL_OVERRIDE="https://your-companys-comet.com/clientlib/"

o de esta manera:

 [comet]
api_key = YOUR-COMET-API-KEY
url_override = https://your-companys-comet.com/clientlib/

Uso

cometx se compone de una serie de subcomandos que son útiles de forma independiente y se pueden usar juntos para crear herramientas sofisticadas para la gestión de ML.

Esta sección examinará algunos usos comunes, seguido de una exploración más detallada de cada subcomando.

Casos de uso

En esta sección exploraremos algunos escenarios comunes.

1. Copie un proyecto específico de una instalación de Comet a otra
2. Copie todos los proyectos en el espacio de trabajo a un nuevo espacio de trabajo
3. Copiar experimentos específicos de un proyecto en nuevos experimentos

1. Copie un proyecto específico de una instalación de cometa a otra.

Un modismo útil es configurar las variables de entorno de Comet en la línea de un subcomando. De esta manera, puede configurar COMET_URL_OVERRIDE y COMET_API_KEY para diferentes instalaciones.

Por supuesto, no es necesario configurar las variables de entorno si está copiando experimentos en la misma instalación de Comet.

Así es como se pueden descargar los experimentos en WORKSPACE/PROJECT desde http://comet.a.com:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT

El subcomando cometx download descarga todos los datos del experimento Comet en archivos locales. Tenga en cuenta que ESPACIO DE TRABAJO/PROYECTO se refiere a un espacio de trabajo y proyecto en http://comet.a.com.

Luego se podrían copiar los datos del experimento descargados con un comando similar:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT NEW-WORKSPACE/NEW-PROJECT

Tenga en cuenta que ESPACIO DE TRABAJO/PROYECTO ahora se refiere a un directorio, y ESPACIO DE TRABAJO/PROYECTO NUEVO se refiere a un espacio de trabajo y proyecto en http://comet.b.com.

2. Copie todos los proyectos en el espacio de trabajo a un nuevo espacio de trabajo.

Del mismo modo, se pueden copiar todos los proyectos descargándolos primero:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE

y luego copiarlos:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE NEW-WORKSPACE

3. Copie experimentos específicos de un proyecto en nuevos experimentos.

De manera similar, se puede copiar un solo experimento primero descargándolo:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID

y luego copiarlo:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID NEW-WORKSPACE/NEW-PROJECT

Subcomandos

• lista cometx
• descargar cometx
• copia cometx
• registro cometx
• cometx se reproduce
• cometx eliminar-activos

Para todos los subcomandos, utilice el indicador --help para obtener información adicional.

lista cometx

Este comando se utiliza para:

• obtener una lista de todos los espacios de trabajo de los que es miembro
• obtener una lista de todos los proyectos en un espacio de trabajo
• obtener una lista de todos los experimentos (por nombre o clave) en un proyecto

ejemplos de lista cometx:

 cometx list WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME
cometx list WORKSPACE/PROJECT
cometx list WORKSPACE
cometx list

Banderas

• --query : se utiliza para limitar la descarga de experimentos (consulte experiment.api.query() para obtener más información)
• -u , --use-name : utiliza nombres de experimentos para carpetas y listados de experimentos

Para obtener más información, cometx list --help

copia cometx

Este comando se utiliza para:

• copiar los datos descargados a un nuevo experimento
• crear un enlace simbólico de un proyecto a experimentos existentes

ejemplos de copia cometx:

 cometx SOURCE DESTINATION
cometx --symlink SOURCE DESTINATION

donde FUENTE es:

• si no, --symlink , carpeta "WORKSPACE/PROJECT/EXPERIMENT", "WORKSPACE/PROJECT/ " o "WORKSPACE/ /*" (use comillas)
• si --symlink , entonces es una ruta de cometa al espacio de trabajo o al espacio de trabajo/proyecto

donde DESTINO es:

• ESPACIO DE TRABAJO
• ESPACIO DE TRABAJO/PROYECTO

No todas las combinaciones son posibles:

Destino → Fuente ↓	ESPACIO DE TRABAJO	ESPACIO DE TRABAJO/PROYECTO
WORKSPACE/*/*	Copia todos los proyectos	N / A
WORKSPACE/PROJ/*	N / A	Copia todos los experimentos.
WORKSPACE/PROJ/EXP	N / A	Experimento de copias

Para más información, cometx copy --help

descargar cometx

Este comando se utiliza para:

• descargue todos los espacios de trabajo, proyectos y experimentos de los espacios de trabajo de los que es miembro
• descargar todos los proyectos y experimentos de un espacio de trabajo determinado
• descargar todos los experimentos de un espacio de trabajo/proyecto determinado

ejemplos de descarga de cometx:

 cometx download WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE/PROJECT [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE [RESOURCE ...] [FLAGS ...]
cometx download [RESOURCE ...] [FLAGS ...]

Donde [RECURSO...] es cero o más de los siguientes nombres:

• activos
• HTML
• metadatos
• métrica
• otros
• parámetros
• proyecto - alias para: project_notes, project_metadata
• ejecutar - alias para: código, git, salida, gráfico y requisitos
• sistema

Si no se proporciona ningún RECURSO, los descargará todos.

Banderas

• --query : se utiliza para limitar la descarga de experimentos (consulte experiment.api.query() para obtener más información)
• --list : se utiliza para enumerar espacios de trabajo, proyectos, experimentos, artefactos o modelos disponibles (igual que cometx list )
• --output : descarga recursos en una carpeta distinta a la actual
• --flat : no utilices la jerarquía normal para los elementos descargados
• --use-name : utiliza nombres de experimentos para carpetas y listados
• --ignore : no descargue los siguientes recursos (use uno o más nombres de RECURSOS de arriba)
• --asset-type : tipo de activo para que coincida, o déjelo para que coincida con todos
• --filename - nombre de archivo para que coincida, o déjelo para que coincida con todos
• --overwrite : sobrescribe cualquier archivo existente
• --force - no solicites descargar, solo hazlo
• --help - este mensaje

Para descargar artefactos:

 cometx download WORKSPACE/artifacts/NAME [FLAGS ...]
cometx download WORKSPACE/artifacts/NAME/VERSION-OR-ALIAS [FLAGS ...]

Para descargar modelos del registro de modelos:

 cometx download WORKSPACE/model-registry/NAME [FLAGS ...]
cometx download WORKSPACE/model-registry/NAME/VERSION-OR-STAGE [FLAGS ...]

Para obtener más información, cometx download --help

registro cometx

Este comando se utiliza para registrar un archivo de recursos (métricas, parámetros, activos, etc.) en uno o varios experimentos específicos.

ejemplo de registro cometx:

 cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [--type TYPE] FILENAME.EXT

donde TIPO es el tipo de activo del nombre de archivo. TIPO no es necesario si se conoce la extensión del nombre de archivo (NOMBRE DE ARCHIVO.EXT).

Extensiones conocidas:

• png
• jpg
• gif
• TXT
• webm
• mp4
• ogg
• ipynb
• wav
• mp3

Tipos conocidos:

• activo
• imagen
• muestra de texto
• video
• ipynb
• audio

Ejemplo para establecer otra clave:valor:

 cometx log WORKSPACE/PROJECT --type other --set "key:value"
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME --type other --set "key:value"

La primera versión establecerá la otra clave:valor en todos los experimentos de un proyecto, y la segunda establecerá la otra clave:valor en el experimento.

Ejemplo para registrar todos los elementos:

 cometx log WORKSPACE/PROJECT PATH-TO-DOWNLOAD --type all
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME PATH-TO-DOWNLOAD --type all

La primera versión creará un experimento y la segunda registrará todo en un experimento existente.

Banderas

• --query : se utiliza para limitar la descarga de experimentos (consulte experiment.api.query() para obtener más información)
• --type : el tipo de elemento a registrar
• --set - la "clave:valor" para iniciar sesión

Para obtener más información, cometx log --help

cometx eliminar-activos

Para eliminar activos de experimentos:

 cometx delete-assets WORKSPACE/PROJECT --type=image
cometx delete-assets WORKSPACE/PROJECT/EXPERIMENT --type=all

El tipo puede ser un tipo de activo válido, que incluye:

• todo
• activo
• audio
• código
• imagen
• computadora portátil
• muestra de texto
• video

Para obtener más información, cometx delete-assets --help

cometx se reproduce

 cometx reproduce [-h] [--run] [--executable EXECUTABLE] COMET_PATH OUTPUT_DIR

Para más información, cometx reproduce --help

Ejecución de pruebas

ADVERTENCIA: Al ejecutar las pruebas se crearán experimentos, modelos, activos, etc. en su espacio de trabajo predeterminado si no se establece lo contrario.

Para ejecutar las pruebas, puede exportar todos estos elementos en el entorno:

$ export COMET_USER= "  "
$ export COMET_WORKSPACE= "  "
$ export COMET_API_KEY= "  "
$ pytest tests

O defina workspace y api_key en su archivo ~/.comet.config:

$ export COMET_USER= "  "
$ pytest tests