comet sdk extensions

cometax

   _________  ____ ___  ___  / /__  __
  / ___/ __ / __ `__ / _ / __/ |/_/
 / /__/ /_/ / / / / / /  __/ /__>  <
 ___/____/_/ /_/ /_/___/__/_/|_|

Extensões de código aberto para o Comet SDK.

Essas extensões são criadas e apoiadas pela comunidade e não são um projeto oficial do Comet ML. Aceitamos contribuições!

Instalação

 pip install cometx

Para usar essas funções de linha de comando, você precisará ter sua chave de API Comet definida de uma das duas maneiras a seguir.

1. Variáveis ​​de ambiente
2. Arquivo de configuração do cometa

Ou desta forma:

 export COMET_API_KEY="YOUR-COMET-API-KEY"

ou desta forma:

 [comet]
api_key = YOUR-COMET-API-KEY

Se você for um usuário local do Comet, também precisará definir a variável de ambiente COMET_URL_OVERRIDE ou adicioná-la ao seu arquivo ~/.comet.config conforme abaixo:

Ou desta forma:

 export COMET_API_KEY="YOUR-COMET-API-KEY"
export COMET_URL_OVERRIDE="https://your-companys-comet.com/clientlib/"

ou desta forma:

 [comet]
api_key = YOUR-COMET-API-KEY
url_override = https://your-companys-comet.com/clientlib/

Uso

cometx é composto por uma série de subcomandos que são úteis de forma independente e podem ser usados ​​em conjunto para criar ferramentas sofisticadas para gerenciamento de ML.

Esta seção examinará alguns usos comuns, seguidos por uma exploração mais detalhada de cada subcomando.

Casos de uso

Nesta seção exploraremos alguns cenários comuns.

1. Copie um projeto específico de uma instalação Comet para outra
2. Copie todos os projetos do espaço de trabalho para um novo espaço de trabalho
3. Copiar experimentos específicos de um projeto para novos experimentos

1. Copie um projeto específico de uma instalação do cometa para outra

Uma linguagem útil é definir suas variáveis ​​de ambiente Comet na linha de um subcomando. Desta forma, você pode definir COMET_URL_OVERRIDE e COMET_API_KEY para instalações diferentes.

Claro, você não precisa definir as variáveis ​​de ambiente se estiver copiando experimentos na mesma instalação do Comet.

Aqui está como você pode baixar os experimentos em WORKSPACE/PROJECT em http://comet.a.com:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT

O subcomando cometx download baixa todos os dados do experimento Comet em arquivos locais. Observe que WORKSPACE/PROJECT refere-se a um espaço de trabalho e projeto em http://comet.a.com.

Pode-se então copiar os dados do experimento baixados com um comando semelhante:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT NEW-WORKSPACE/NEW-PROJECT

Observe que WORKSPACE/PROJECT agora se refere a um diretório e NEW-WORKSPACE/NEW-PROJECT se refere a um espaço de trabalho e projeto em http://comet.b.com.

2. Copie todos os projetos do espaço de trabalho para um novo espaço de trabalho

Da mesma forma, é possível copiar todos os projetos baixando-os primeiro:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE

e depois copiá-los:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE NEW-WORKSPACE

3. Copie experimentos específicos de um projeto para novos experimentos

Da mesma forma, pode-se copiar um único experimento primeiro baixando-o:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID

e depois copiá-lo:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID NEW-WORKSPACE/NEW-PROJECT

Subcomandos

• lista cometax
• baixar cometax
• cópia do cometax
• registro do cometax
• cometax reproduzir
• cometx excluir ativos

Para todos os subcomandos, use o sinalizador --help para obter informações adicionais.

lista cometax

Este comando é usado para:

• obter uma lista de todos os espaços de trabalho dos quais você é membro
• obter uma lista de todos os projetos em um espaço de trabalho
• obter uma lista de todos os experimentos (por nome ou chave) em um projeto

exemplos de lista cometx:

 cometx list WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME
cometx list WORKSPACE/PROJECT
cometx list WORKSPACE
cometx list

Bandeiras

• --query - use para limitar o download dos experimentos (consulte experiment.api.query() para obter mais informações)
• -u , --use-name - usa nomes de experimentos para pastas e listagens de experimentos

Para mais informações, cometx list --help

cópia do cometax

Este comando é usado para:

• copiar dados baixados para um novo experimento
• crie um link simbólico de um projeto para experimentos existentes

exemplos de cópia do cometx:

 cometx SOURCE DESTINATION
cometx --symlink SOURCE DESTINATION

onde FONTE é:

• se não --symlink , pasta "WORKSPACE/PROJECT/EXPERIMENT", "WORKSPACE/PROJECT/ "ou "WORKSPACE/ /*" (use aspas)
• se --symlink , então é um caminho Comet para o espaço de trabalho ou espaço de trabalho/projeto

onde DESTINO é:

• ESPAÇO DE TRABALHO
• ESPAÇO DE TRABALHO/PROJETO

Nem todas as combinações são possíveis:

Destino → Fonte ↓	ESPAÇO DE TRABALHO	ESPAÇO DE TRABALHO/PROJETO
WORKSPACE/*/*	Copia todos os projetos	N / D
WORKSPACE/PROJ/*	N / D	Copia todos os experimentos
WORKSPACE/PROJ/EXP	N / D	Experimento de cópias

Para mais informações, cometx copy --help

baixar cometax

Este comando é usado para:

• baixe todos os espaços de trabalho, projetos e experimentos de espaços de trabalho dos quais você é membro
• baixe todos os projetos e experimentos de um determinado espaço de trabalho
• baixar todos os experimentos de um determinado espaço de trabalho/projeto

exemplos de download do cometx:

 cometx download WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE/PROJECT [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE [RESOURCE ...] [FLAGS ...]
cometx download [RESOURCE ...] [FLAGS ...]

Onde [RESOURCE...] é zero ou mais dos seguintes nomes:

• ativos
• HTML
• metadados
• métricas
• outros
• parâmetros
• projeto - alias para: project_notes, project_metadata
• run - alias para: código, git, saída, gráfico e requisitos
• sistema

Se nenhum RESOURCE for fornecido, ele fará o download de todos eles.

Bandeiras

• --query - use para limitar o download dos experimentos (consulte experiment.api.query() para obter mais informações)
• --list - use para listar espaços de trabalho, projetos, experimentos, artefatos ou modelos disponíveis (o mesmo que cometx list )
• --output - baixa recursos para uma pasta diferente da atual
• --flat - não use a hierarquia normal para itens baixados
• --use-name - use nomes de experimentos para pastas e listagens
• --ignore - não baixe os seguintes recursos (use um ou mais nomes de RECURSOS acima)
• --asset-type - tipo de ativo para corresponder ou deixar de lado para corresponder a todos
• --filename - nome do arquivo para corresponder ou deixar de lado para corresponder a todos
• --overwrite - sobrescreve quaisquer arquivos existentes
• --force - não peça para baixar, apenas faça
• --help - esta mensagem

Para baixar artefatos:

 cometx download WORKSPACE/artifacts/NAME [FLAGS ...]
cometx download WORKSPACE/artifacts/NAME/VERSION-OR-ALIAS [FLAGS ...]

Para baixar modelos do registro de modelos:

 cometx download WORKSPACE/model-registry/NAME [FLAGS ...]
cometx download WORKSPACE/model-registry/NAME/VERSION-OR-STAGE [FLAGS ...]

Para mais informações, cometx download --help

registro do cometax

Este comando é usado para registrar um arquivo de recursos (métricas, parâmetros, ativos, etc.) em um experimento ou experimentos específicos.

exemplo de registro do cometax:

 cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [--type TYPE] FILENAME.EXT

onde TYPE é o tipo de ativo do nome do arquivo. TYPE não será necessário se a extensão do nome do arquivo (FILENAME.EXT) for conhecida.

Extensões conhecidas:

• png
• jpg
• gif
• TXT
• webm
• mp4
• meu Deus
• ipynb
• wav
• mp3

Tipos conhecidos:

• ativo
• imagem
• amostra de texto
• vídeo
• ipynb
• áudio

Exemplo para definir outra chave:valor:

 cometx log WORKSPACE/PROJECT --type other --set "key:value"
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME --type other --set "key:value"

A primeira versão definirá o outro valor-chave em todos os experimentos em um projeto, e a segunda definirá o outro valor-chave no experimento.

Exemplo para registrar todos os itens:

 cometx log WORKSPACE/PROJECT PATH-TO-DOWNLOAD --type all
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME PATH-TO-DOWNLOAD --type all

A primeira versão criará um experimento e a segunda registrará tudo em um experimento existente.

Bandeiras

• --query - use para limitar o download dos experimentos (consulte experiment.api.query() para obter mais informações)
• --type - o tipo de item a ser registrado
• --set - a "chave:valor" para registrar

Para mais informações, cometx log --help

cometx excluir ativos

Para excluir recursos de experimentos:

 cometx delete-assets WORKSPACE/PROJECT --type=image
cometx delete-assets WORKSPACE/PROJECT/EXPERIMENT --type=all

O tipo pode ser uma tupe de ativo válida, incluindo:

• todos
• ativo
• áudio
• código
• imagem
• caderno
• amostra de texto
• vídeo

Para mais informações, cometx delete-assets --help

cometax reproduzir

 cometx reproduce [-h] [--run] [--executable EXECUTABLE] COMET_PATH OUTPUT_DIR

Para mais informações, cometx reproduce --help

Executando testes

AVISO: a execução dos testes criará experimentos, modelos, ativos, etc. em seu espaço de trabalho padrão, caso não seja definido de outra forma.

Para executar os testes, você pode exportar todos estes itens no ambiente:

$ export COMET_USER= "  "
$ export COMET_WORKSPACE= "  "
$ export COMET_API_KEY= "  "
$ pytest tests

Ou defina workspace e api_key em seu arquivo ~/.comet.config:

$ export COMET_USER= "  "
$ pytest tests