comet sdk extensions

комета

   _________  ____ ___  ___  / /__  __
  / ___/ __ / __ `__ / _ / __/ |/_/
 / /__/ /_/ / / / / / /  __/ /__>  <
 ___/____/_/ /_/ /_/___/__/_/|_|

Расширения с открытым исходным кодом для Comet SDK.

Эти расширения создаются и поддерживаются сообществом и не являются официальным проектом Comet ML. Мы приветствуем вклады!

Установка

 pip install cometx

Чтобы использовать эти функции командной строки, вам необходимо установить ключ Comet API одним из следующих двух способов.

1. Переменные среды
2. Конфигурационный файл кометы

Либо так:

 export COMET_API_KEY="YOUR-COMET-API-KEY"

или таким образом:

 [comet]
api_key = YOUR-COMET-API-KEY

Если вы являетесь локальным пользователем Comet, вам также необходимо установить переменную среды COMET_URL_OVERRIDE или добавить ее в файл ~/.comet.config , как показано ниже:

Либо так:

 export COMET_API_KEY="YOUR-COMET-API-KEY"
export COMET_URL_OVERRIDE="https://your-companys-comet.com/clientlib/"

или таким образом:

 [comet]
api_key = YOUR-COMET-API-KEY
url_override = https://your-companys-comet.com/clientlib/

Использование

cometx состоит из ряда подкоманд, которые полезны независимо друг от друга и могут использоваться вместе для создания сложных инструментов управления машинным обучением.

В этом разделе будут рассмотрены некоторые общие варианты использования, а затем более подробно рассмотрена каждая подкоманда.

Варианты использования

В этом разделе мы рассмотрим некоторые распространенные сценарии.

1. Скопируйте конкретный проект из одной установки Comet в другую.
2. Скопируйте все проекты в рабочей области в новую рабочую область.
3. Копирование отдельных экспериментов в проекте в новые эксперименты.

1. Скопируйте конкретный проект из одной установки Comet в другую.

Полезной идиомой является установка переменных среды Comet в строке подкоманды. Таким образом вы можете установить COMET_URL_OVERRIDE и COMET_API_KEY для разных установок.

Конечно, вам не нужно устанавливать переменные среды, если вы копируете эксперименты в той же установке Comet.

Вот как можно загрузить эксперименты в WORKSPACE/PROJECT с http://comet.a.com:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT

Субкоманда cometx download загружает все данные эксперимента Comet в локальные файлы. Обратите внимание, что WORKSPACE/PROJECT относится к рабочей области и проекту на http://comet.a.com.

Затем можно было скопировать загруженные данные эксперимента с помощью аналогичной команды:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT NEW-WORKSPACE/NEW-PROJECT

Обратите внимание, что WORKSPACE/PROJECT теперь относится к каталогу, а NEW-WORKSPACE/NEW-PROJECT относится к рабочей области и проекту на http://comet.b.com.

2. Скопируйте все проекты из рабочей области в новую рабочую область.

Аналогичным образом можно скопировать все проекты, предварительно загрузив их:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE

а затем скопируйте их:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE NEW-WORKSPACE

3. Копирование отдельных экспериментов проекта в новые эксперименты.

Точно так же можно скопировать один эксперимент, предварительно загрузив его:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID

а затем скопируйте его:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID NEW-WORKSPACE/NEW-PROJECT

Подкоманды

• список комет
• комета скачать
• копия кометы
• журнал кометы
• комета воспроизводит
• удаление активов Cometx

Для всех подкоманд используйте флаг --help , чтобы получить дополнительную информацию.

список комет

Эта команда используется для:

• получить список всех рабочих пространств, участником которых вы являетесь
• получить список всех проектов в рабочей области
• получить список всех экспериментов (по названию или ключу) в проекте

примеры списков Cometx:

 cometx list WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME
cometx list WORKSPACE/PROJECT
cometx list WORKSPACE
cometx list

Флаги

• --query — используйте, чтобы ограничить загрузку экспериментов (дополнительную информацию см. в Experiment.api.query()).
• -u , --use-name — использовать имена экспериментов для папок и списков экспериментов.

Для получения дополнительной информации, cometx list --help

копия кометы

Эта команда используется для:

• скопировать загруженные данные в новый эксперимент
• создать символическую ссылку из одного проекта на существующие эксперименты

примеры копирования Cometx:

 cometx SOURCE DESTINATION
cometx --symlink SOURCE DESTINATION

где ИСТОЧНИК:

• если нет --symlink , папка «WORKSPACE/PROJECT/EXPERIMENT», «WORKSPACE/PROJECT/ » или «WORKSPACE/ /*» (используйте кавычки)
• если --symlink , то это путь Comet к рабочему пространству или рабочему пространству/проекту.

где НАЗНАЧЕНИЕ:

• РАБОЧОЕ ПРОСТРАНСТВО
• РАБОЧОЕ ПРОСТРАНСТВО/ПРОЕКТ

Не все комбинации возможны:

Пункт назначения → Источник ↓	РАБОЧОЕ ПРОСТРАНСТВО	РАБОЧОЕ ПРОСТРАНСТВО/ПРОЕКТ
WORKSPACE/*/*	Копирует все проекты	Н/Д
WORKSPACE/PROJ/*	Н/Д	Копирует все эксперименты
WORKSPACE/PROJ/EXP	Н/Д	Копии эксперимента

Для получения дополнительной информации используйте cometx copy --help

комета скачать

Эта команда используется для:

• загрузите все рабочие области, проекты и эксперименты рабочих областей, участником которых вы являетесь.
• скачать все проекты и эксперименты данного рабочего пространства
• загрузить все эксперименты данного рабочего пространства/проекта

примеры загрузки Cometx:

 cometx download WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE/PROJECT [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE [RESOURCE ...] [FLAGS ...]
cometx download [RESOURCE ...] [FLAGS ...]

Где [РЕСУРС ...] — это ноль или более следующих имен:

• ресурсы
• HTML
• метаданные
• метрики
• другие
• параметры
• проект — псевдоним: project_notes, project_metadata
• run — псевдоним для: кода, git, вывода, графика и требований.
• система

Если RESOURCE не указан, он загрузит их все.

Флаги

• --query — используйте, чтобы ограничить загрузку экспериментов (дополнительную информацию см. в Experiment.api.query()).
• --list — используйте для вывода списка доступных рабочих пространств, проектов, экспериментов, артефактов или моделей (так же, как cometx list )
• --output — загрузить ресурсы в папку, отличную от текущей
• --flat — не использовать обычную иерархию для загружаемых элементов
• --use-name — использовать названия экспериментов для папок и списков
• --ignore — не загружать следующие ресурсы (используйте одно или несколько названий РЕСУРСОВ, указанных выше)
• --asset-type — тип актива, который будет соответствовать, или оставьте, чтобы соответствовать всем
• --filename — имя файла, которое должно соответствовать, или оставьте, чтобы оно соответствовало всем
• --overwrite — перезаписать любые существующие файлы
• --force — не просить скачать, просто сделать это
• --help — это сообщение

Чтобы загрузить артефакты:

 cometx download WORKSPACE/artifacts/NAME [FLAGS ...]
cometx download WORKSPACE/artifacts/NAME/VERSION-OR-ALIAS [FLAGS ...]

Чтобы загрузить модели из реестра моделей:

 cometx download WORKSPACE/model-registry/NAME [FLAGS ...]
cometx download WORKSPACE/model-registry/NAME/VERSION-OR-STAGE [FLAGS ...]

Для получения дополнительной информации cometx download --help

журнал кометы

Эта команда используется для регистрации файла ресурсов (показателей, параметров, активов и т. д.) для конкретного эксперимента или экспериментов.

пример журнала Cometx:

 cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [--type TYPE] FILENAME.EXT

где TYPE — тип ресурса имени файла. ТИП не требуется, если известно расширение имени файла (ИМЯ ФАЙЛА.EXT).

Известные расширения:

• png
• jpg
• гифка
• текст
• вебм
• mp4
• огг
• ipynb
• вав
• mp3

Известные типы:

• объект
• изображение
• образец текста
• видео
• ipynb
• аудио

Пример установки другого ключа:значения:

 cometx log WORKSPACE/PROJECT --type other --set "key:value"
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME --type other --set "key:value"

Первая версия будет устанавливать другой ключ:значение во всех экспериментах в проекте, а вторая будет устанавливать другой ключ:значение в эксперименте.

Пример регистрации всех элементов:

 cometx log WORKSPACE/PROJECT PATH-TO-DOWNLOAD --type all
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME PATH-TO-DOWNLOAD --type all

Первая версия создаст эксперимент, а вторая запишет все в существующий эксперимент.

Флаги

• --query — используйте, чтобы ограничить загрузку экспериментов (дополнительную информацию см. в Experiment.api.query()).
• --type — тип элемента для регистрации
• --set — «ключ:значение» для регистрации

Для получения дополнительной информации, cometx log --help

удаление активов Cometx

Чтобы удалить объекты экспериментов:

 cometx delete-assets WORKSPACE/PROJECT --type=image
cometx delete-assets WORKSPACE/PROJECT/EXPERIMENT --type=all

Тип может быть допустимым типом актива, включая:

• все
• объект
• аудио
• код
• изображение
• блокнот
• образец текста
• видео

Для получения дополнительной информации cometx delete-assets --help

комета воспроизводит

 cometx reproduce [-h] [--run] [--executable EXECUTABLE] COMET_PATH OUTPUT_DIR

Для получения дополнительной информации, cometx reproduce --help

Запуск тестов

ВНИМАНИЕ. Запуск тестов приведет к созданию экспериментов, моделей, ресурсов и т. д. в рабочей области по умолчанию, если не установлено иное.

Чтобы запустить тесты, вы можете экспортировать все эти элементы в среду:

$ export COMET_USER= "  "
$ export COMET_WORKSPACE= "  "
$ export COMET_API_KEY= "  "
$ pytest tests

Или определите workspace и api_key в файле ~/.comet.config:

$ export COMET_USER= "  "
$ pytest tests