首页>编程相关>其他源码
下载

彗星

   _________  ____ ___  ___  / /__  __
  / ___/ __ / __ `__ / _ / __/ |/_/
 / /__/ /_/ / / / / / /  __/ /__>  <
 ___/____/_/ /_/ /_/___/__/_/|_|

Comet SDK 的开源扩展。

这些扩展由社区创建和支持，并不是 Comet ML 的官方项目。我们欢迎贡献！

安装

 pip install cometx

要使用这些命令行函数，您需要通过以下两种方式之一设置 Comet API 密钥。

  1. 环境变量
  2. 彗星配置文件

要么这样： 

 export COMET_API_KEY="YOUR-COMET-API-KEY"

或者这样： 

 [comet]
api_key = YOUR-COMET-API-KEY

如果您是 Comet on-prem 用户，您还需要设置COMET_URL_OVERRIDE环境变量，或将其添加到~/.comet.config文件中，如下所示：

要么这样： 

 export COMET_API_KEY="YOUR-COMET-API-KEY"
export COMET_URL_OVERRIDE="https://your-companys-comet.com/clientlib/"

或者这样： 

 [comet]
api_key = YOUR-COMET-API-KEY
url_override = https://your-companys-comet.com/clientlib/

用法

cometx由一系列独立有用的子命令组成，可以一起使用来创建用于 ML 管理的复杂工具。

本节将研究一些常见用法，然后更详细地探讨每个子命令。

使用案例

在本节中，我们将探讨一些常见场景。

  1. 将特定项目从一个 Comet 安装复制到另一个安装
  2. 将工作区中的所有项目复制到新工作区
  3. 将项目中的特定实验复制到新实验

1. 将特定项目从一个 Comet 安装复制到另一个安装

一个有用的习惯用法是在子命令行设置 Comet 环境变量。通过这种方式，您可以为不同的安装设置COMET_URL_OVERRIDE和COMET_API_KEY 。

当然，如果您要在同一 Comet 安装上复制实验，则不必设置环境变量。

您可以通过以下方式从 http://comet.a.com 下载 WORKSPACE/PROJECT 中的实验： 

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT

cometx download子命令将所有 Comet 实验数据下载到本地文件中。请注意，WORKSPACE/PROJECT 指的是 http://comet.a.com 上的工作区和项目。

然后可以使用类似的命令复制下载的实验数据： 

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT NEW-WORKSPACE/NEW-PROJECT

请注意，WORKSPACE/PROJECT 现在指的是目录，NEW-WORKSPACE/NEW-PROJECT 指的是 http://comet.b.com 上的工作区和项目。

2.将工作区中的所有项目复制到新工作区

同样，可以通过首先下载来复制所有项目： 

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE

然后复制它们： 

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE NEW-WORKSPACE

3. 将项目中的特定实验复制到新实验中

同样，可以先下载一个实验，然后复制它： 

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID

然后复制它： 

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID NEW-WORKSPACE/NEW-PROJECT

子命令

  • 彗星名单
  • 彗星下载
  • 彗星副本
  • 彗星日志
  • cometx 重现
  • cometx 删除资产

对于所有子命令，请使用--help标志来获取其他信息。

彗星列表

该命令用于：

  • 获取您所属的所有工作区的列表
  • 获取工作区中所有项目的列表
  • 获取项目中所有实验的列表（按名称或键）

cometx 列表示例： 

 cometx list WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME
cometx list WORKSPACE/PROJECT
cometx list WORKSPACE
cometx list

旗帜

  • --query - 用于限制下载实验（有关更多信息，请参阅experiment.api.query()）
  • -u , --use-name - 使用实验文件夹和列表的实验名称

欲了解更多信息， cometx list --help

彗星副本

该命令用于：

  • 将下载的数据复制到新实验
  • 创建从一个项目到现有实验的符号链接

cometx 复制示例： 

 cometx SOURCE DESTINATION
cometx --symlink SOURCE DESTINATION

其中来源是：

  • 如果不是--symlink ，“WORKSPACE/PROJECT/EXPERIMENT”、“WORKSPACE/PROJECT/ ”或“WORKSPACE/ /*”文件夹（使用引号）
  • 如果--symlink ，那么它是工作区或工作区/项目的 Comet 路径

其中目的地是：

  • 工作空间
  • 工作空间/项目

并非所有组合都是可能的：

目的地 →
来源↓		工作空间工作空间/项目
WORKSPACE/*/*复制所有项目不适用
WORKSPACE/PROJ/*不适用复制所有实验
WORKSPACE/PROJ/EXP不适用复制实验

欲了解更多信息， cometx copy --help

彗星下载

该命令用于：

  • 下载您所属工作区的所有工作区、项目和实验
  • 下载给定工作区的所有项目和实验
  • 下载给定工作区/项目的所有实验

cometx 下载示例： 

 cometx download WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE/PROJECT [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE [RESOURCE ...] [FLAGS ...]
cometx download [RESOURCE ...] [FLAGS ...]

其中 [RESOURCE ...] 是以下名称中的零个或多个：

  • 资产
  • html
  • 元数据
  • 指标
  • 其他的
  • 参数
  • 项目 - 别名：project_notes、project_metadata
  • run - 别名：代码、git、输出、图表和需求
  • 系统

如果没有提供资源，它将下载所有资源。

旗帜

  • --query - 用于限制下载实验（有关更多信息，请参阅experiment.api.query()）
  • --list - 用于列出可用的工作区、项目、实验、工件或模型（与cometx list相同）
  • --output - 将资源下载到当前文件夹以外的文件夹
  • --flat - 不要对下载的项目使用正常的层次结构
  • --use-name - 使用文件夹和列表的实验名称
  • --ignore - 不下载以下资源（使用上面的一个或多个资源名称）
  • --asset-type - 要匹配的资产类型，或不匹配所有资产类型
  • --filename - 要匹配的文件名，或不匹配所有文件名
  • --overwrite - 覆盖任何现有文件
  • --force - 不要求下载，直接下载
  • --help - 此消息

要下载工件： 

 cometx download WORKSPACE/artifacts/NAME [FLAGS ...]
cometx download WORKSPACE/artifacts/NAME/VERSION-OR-ALIAS [FLAGS ...]

要从模型注册表下载模型： 

 cometx download WORKSPACE/model-registry/NAME [FLAGS ...]
cometx download WORKSPACE/model-registry/NAME/VERSION-OR-STAGE [FLAGS ...]

欲了解更多信息， cometx download --help

彗星日志

此命令用于将资源（指标、参数、资产等）文件记录到特定的一个或多个实验中。

cometx 日志示例： 

 cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [--type TYPE] FILENAME.EXT

其中 TYPE 是文件名的资源类型。如果文件扩展名 (FILENAME.EXT) 已知，则不需要 TYPE。

已知的扩展：

  • PNG
  • .jpg
  • 动图
  • TXT
  • 网络管理
  • mp4
  • 奥格
  • ipynb
  • 声音
  • mp3

已知类型：

  • 资产
  • 图像
  • 文本样本
  • 视频
  • ipynb
  • 声音的

设置其他键：值的示例： 

 cometx log WORKSPACE/PROJECT --type other --set "key:value"
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME --type other --set "key:value"

第一个版本将在项目中的所有实验中设置另一个 key:value，第二个版本将在实验中设置另一个 key:value。

记录所有项目的示例： 

 cometx log WORKSPACE/PROJECT PATH-TO-DOWNLOAD --type all
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME PATH-TO-DOWNLOAD --type all

第一个版本将创建一个实验，第二个版本将把所有内容记录到现有实验中。

旗帜

  • --query - 用于限制下载实验（有关更多信息，请参阅experiment.api.query()）
  • --type - 要记录的项目类型
  • --set - 要记录的“键：值”

有关更多信息，请参阅cometx log --help

cometx 删除资产

要删除实验资产： 

 cometx delete-assets WORKSPACE/PROJECT --type=image
cometx delete-assets WORKSPACE/PROJECT/EXPERIMENT --type=all

Type 可以是有效的资产类型，包括：

  • 全部
  • 资产
  • 声音的
  • 代码
  • 图像
  • 笔记本
  • 文本样本
  • 视频

有关更多信息， cometx delete-assets --help

cometx 重现

 cometx reproduce [-h] [--run] [--executable EXECUTABLE] COMET_PATH OUTPUT_DIR

欲了解更多信息， cometx reproduce --help

运行测试

警告：如果没有另外设置，运行测试将在默认工作区中创建实验、模型、资产等。

要运行测试，您可以导出环境中的所有这些项目： 

$ export COMET_USER= "  "
$ export COMET_WORKSPACE= "  "
$ export COMET_API_KEY= "  "
$ pytest tests

或者，在 ~/.comet.config 文件中定义workspace和api_key ： 

$ export COMET_USER= "  "
$ pytest tests
展开
附加信息
相关应用
为您推荐
相关资讯 全部