comet sdk extensions

kometx

   _________  ____ ___  ___  / /__  __
  / ___/ __ / __ `__ / _ / __/ |/_/
 / /__/ /_/ / / / / / /  __/ /__>  <
 ___/____/_/ /_/ /_/___/__/_/|_|

Ekstensi sumber terbuka untuk Comet SDK.

Ekstensi ini dibuat dan didukung oleh komunitas dan bukan merupakan proyek resmi Comet ML. Kami menyambut kontribusi!

Instalasi

 pip install cometx

Untuk menggunakan fungsi baris perintah ini, Anda harus mengatur kunci Comet API dengan salah satu dari dua cara berikut.

1. Variabel lingkungan
2. File konfigurasi komet

Caranya:

 export COMET_API_KEY="YOUR-COMET-API-KEY"

atau dengan cara ini:

 [comet]
api_key = YOUR-COMET-API-KEY

Jika Anda adalah pengguna lokal Comet, Anda juga perlu mengatur variabel lingkungan COMET_URL_OVERRIDE , atau menambahkannya ke file ~/.comet.config seperti di bawah ini:

Caranya:

 export COMET_API_KEY="YOUR-COMET-API-KEY"
export COMET_URL_OVERRIDE="https://your-companys-comet.com/clientlib/"

atau dengan cara ini:

 [comet]
api_key = YOUR-COMET-API-KEY
url_override = https://your-companys-comet.com/clientlib/

Penggunaan

cometx terdiri dari serangkaian subperintah yang berguna secara independen, dan dapat digunakan bersama untuk membuat alat canggih untuk manajemen ML.

Bagian ini akan membahas beberapa kegunaan umum, diikuti dengan eksplorasi lebih rinci dari setiap sub-perintah.

Kasus Penggunaan

Di bagian ini kita akan menjelajahi beberapa skenario umum.

1. Salin proyek tertentu dari satu instalasi Comet ke instalasi lainnya
2. Salin semua proyek di ruang kerja ke ruang kerja baru
3. Salin eksperimen tertentu dalam sebuah proyek ke eksperimen baru

1. Salin proyek tertentu dari satu instalasi komet ke instalasi komet lainnya

Idiom yang berguna adalah mengatur variabel lingkungan Comet Anda pada baris subperintah. Dengan cara ini, Anda dapat mengatur COMET_URL_OVERRIDE dan COMET_API_KEY untuk instalasi yang berbeda.

Tentu saja, Anda tidak perlu menyetel variabel lingkungan jika Anda menyalin eksperimen pada instalasi Comet yang sama.

Inilah cara Anda mengunduh eksperimen di WORKSPACE/PROJECT dari http://comet.a.com:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT

Subperintah cometx download mengunduh semua data eksperimen Comet ke dalam file lokal. Perhatikan bahwa WORKSPACE/PROJECT merujuk pada ruang kerja dan proyek di http://comet.a.com.

Seseorang kemudian dapat menyalin data eksperimen yang diunduh dengan perintah serupa:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT NEW-WORKSPACE/NEW-PROJECT

Perhatikan bahwa WORKSPACE/PROJECT sekarang merujuk ke direktori, dan NEW-WORKSPACE/NEW-PROJECT merujuk ke ruang kerja dan proyek di http://comet.b.com.

2. Salin semua proyek di ruang kerja ke ruang kerja baru

Demikian pula, seseorang dapat menyalin semua proyek dengan mengunduhnya terlebih dahulu:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE

dan kemudian menyalinnya:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE NEW-WORKSPACE

3. Salin eksperimen spesifik dalam sebuah proyek ke eksperimen baru

Demikian pula, seseorang dapat menyalin satu eksperimen terlebih dahulu dengan mengunduhnya:

COMET_URL_OVERRIDE=http://comet.a.com/clientlib 
COMET_API_KEY=A-KEY 
cometx download WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID

dan kemudian menyalinnya:

COMET_URL_OVERRIDE=http://comet.b.com/clientlib 
COMET_API_KEY=B-KEY 
cometx copy WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID NEW-WORKSPACE/NEW-PROJECT

Sub-perintah

• daftar kometx
• unduhan kometx
• salinan kometx
• log kometx
• kometx bereproduksi
• cometx hapus-aset

Untuk semua subperintah, gunakan tanda --help untuk mendapatkan informasi tambahan.

daftar kometx

Perintah ini digunakan untuk:

• dapatkan daftar semua ruang kerja tempat Anda menjadi anggotanya
• dapatkan daftar semua proyek di ruang kerja
• dapatkan daftar semua eksperimen (berdasarkan nama atau kunci) dalam sebuah proyek

contoh daftar cometx:

 cometx list WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME
cometx list WORKSPACE/PROJECT
cometx list WORKSPACE
cometx list

Bendera

• --query - digunakan untuk membatasi eksperimen yang akan diunduh (lihat eksperimen.api.query() untuk informasi lebih lanjut)
• -u , --use-name - gunakan nama eksperimen untuk folder dan listingan eksperimen

Untuk informasi lebih lanjut, cometx list --help

salinan kometx

Perintah ini digunakan untuk:

• salin data yang diunduh ke eksperimen baru
• buat symlink dari satu proyek ke eksperimen yang ada

contoh salinan cometx:

 cometx SOURCE DESTINATION
cometx --symlink SOURCE DESTINATION

di mana SUMBER adalah:

• jika tidak --symlink , folder "WORKSPACE/PROJECT/EXPERIMENT", "WORKSPACE/PROJECT/ ", atau "WORKSPACE/ /*" (gunakan tanda kutip)
• jika --symlink , maka itu adalah jalur Komet ke ruang kerja atau ruang kerja/proyek

dimana TUJUAN adalah:

• RUANG KERJA
• RUANG KERJA/PROYEK

Tidak semua kombinasi dapat dilakukan:

Tujuan → Sumber ↓	RUANG KERJA	RUANG KERJA/PROYEK
WORKSPACE/*/*	Menyalin semua proyek	T/A
WORKSPACE/PROJ/*	T/A	Menyalin semua eksperimen
WORKSPACE/PROJ/EXP	T/A	Eksperimen salinan

Untuk informasi lebih lanjut, cometx copy --help

unduhan kometx

Perintah ini digunakan untuk:

• unduh semua ruang kerja, proyek, dan eksperimen ruang kerja tempat Anda menjadi anggotanya
• unduh semua proyek, dan eksperimen ruang kerja tertentu
• unduh semua eksperimen ruang kerja/proyek tertentu

contoh unduhan cometx:

 cometx download WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE/PROJECT [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE [RESOURCE ...] [FLAGS ...]
cometx download [RESOURCE ...] [FLAGS ...]

Dimana [RESOURCE ...] adalah nol atau lebih dari nama berikut:

• aktiva
• html
• metadata
• metrik
• yang lain
• parameter
• proyek - alias untuk: project_notes, project_metadata
• run - alias untuk: kode, git, keluaran, grafik, dan persyaratan
• sistem

Jika tidak ada SUMBER DAYA yang diberikan, ia akan mengunduh semuanya.

Bendera

• --query - digunakan untuk membatasi eksperimen yang akan diunduh (lihat eksperimen.api.query() untuk informasi lebih lanjut)
• --list - digunakan untuk membuat daftar ruang kerja, proyek, eksperimen, artefak, atau model yang tersedia (sama seperti cometx list )
• --output - mengunduh sumber daya ke folder selain yang sekarang
• --flat - jangan gunakan hierarki normal untuk item yang diunduh
• --use-name - gunakan nama eksperimen untuk folder dan daftar
• --ignore - jangan mengunduh sumber daya berikut (gunakan satu atau lebih nama SUMBER DAYA dari atas)
• --asset-type - jenis aset yang akan dicocokkan, atau ditinggalkan untuk dicocokkan semua
• --filename - nama file yang akan dicocokkan, atau dihilangkan agar cocok dengan semua
• --overwrite - menimpa semua file yang ada
• --force - jangan minta mendownload, lakukan saja
• --help - pesan ini

Untuk mengunduh artefak:

 cometx download WORKSPACE/artifacts/NAME [FLAGS ...]
cometx download WORKSPACE/artifacts/NAME/VERSION-OR-ALIAS [FLAGS ...]

Untuk mengunduh model dari registri model:

 cometx download WORKSPACE/model-registry/NAME [FLAGS ...]
cometx download WORKSPACE/model-registry/NAME/VERSION-OR-STAGE [FLAGS ...]

Untuk informasi lebih lanjut, cometx download --help

log kometx

Perintah ini digunakan untuk mencatat file sumber daya (metrik, parameter, aset, dll) ke eksperimen atau eksperimen tertentu.

contoh log cometx:

 cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [--type TYPE] FILENAME.EXT

dimana TYPE adalah tipe aset dari nama file. TYPE tidak diperlukan jika ekstensi nama file (FILENAME.EXT) diketahui.

Ekstensi yang dikenal:

• png
• jpg
• gif
• txt
• webm
• mp4
• ogg
• ipynb
• wav
• mp3

Jenis yang diketahui:

• aset
• gambar
• sampel teks
• video
• ipynb
• audio

Contoh untuk menyetel kunci:nilai lainnya:

 cometx log WORKSPACE/PROJECT --type other --set "key:value"
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME --type other --set "key:value"

Versi pertama akan menyetel kunci:nilai lainnya di semua eksperimen dalam sebuah proyek, dan versi kedua akan menyetel kunci:nilai lainnya di eksperimen.

Contoh untuk mencatat semua item:

 cometx log WORKSPACE/PROJECT PATH-TO-DOWNLOAD --type all
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME PATH-TO-DOWNLOAD --type all

Versi pertama akan membuat eksperimen, dan versi kedua akan mencatat semuanya ke eksperimen yang ada.

Bendera

• --query - digunakan untuk membatasi eksperimen yang akan diunduh (lihat eksperimen.api.query() untuk informasi lebih lanjut)
• --type - jenis item yang akan dicatat
• --set - "kunci:nilai" untuk dicatat

Untuk informasi lebih lanjut, cometx log --help

cometx hapus-aset

Untuk menghapus aset eksperimen:

 cometx delete-assets WORKSPACE/PROJECT --type=image
cometx delete-assets WORKSPACE/PROJECT/EXPERIMENT --type=all

Jenis dapat berupa aset tupe yang valid, antara lain:

• semua
• aset
• audio
• kode
• gambar
• buku catatan
• sampel teks
• video

Untuk informasi lebih lanjut, cometx delete-assets --help

kometx bereproduksi

 cometx reproduce [-h] [--run] [--executable EXECUTABLE] COMET_PATH OUTPUT_DIR

Untuk informasi lebih lanjut, cometx reproduce --help

Tes Berjalan

PERINGATAN: Menjalankan pengujian akan membuat eksperimen, model, aset, dll. di ruang kerja default Anda jika tidak ditetapkan sebaliknya.

Untuk menjalankan pengujian, Anda dapat mengekspor semua item berikut di lingkungan:

$ export COMET_USER= "  "
$ export COMET_WORKSPACE= "  "
$ export COMET_API_KEY= "  "
$ pytest tests

Atau, tentukan workspace dan api_key di file ~/.comet.config Anda:

$ export COMET_USER= "  "
$ pytest tests