jahs_bench_201 Unduh - jahs_bench

jahs_bench_201

Kode sumber lainnya

1.0.0

Unduh

Jahs-Bench-201

Koleksi pertama tolok ukur pengganti untuk arsitektur bersama dan pencarian hyperparameter (JAHS), dibangun untuk juga mendukung dan memfasilitasi penelitian tentang multi-objektif, biaya-sadar dan algoritma optimisasi multi-fidelity (multi).

Silakan lihat dokumentasi kami di sini. Rincian yang tepat tentang pengumpulan data dan proses pembuatan pengganti, serta eksperimen kami, dapat ditemukan dalam publikasi yang diasosiasi.

Instalasi

Menggunakan pip

pip install jahs-bench

Secara opsional, Anda dapat mengunduh data yang diperlukan untuk menggunakan tolok ukur pengganti sebelumnya

python -m jahs_bench.download --target surrogates

Untuk menguji apakah instalasi berhasil, Anda dapat, misalnya, jalankan contoh minimal dengan

python -m jahs_bench_examples.minimal

Ini harus mencicipi konfigurasi secara acak, dan menampilkan konfigurasi sampel dan hasil permintaan pengganti untuk konfigurasi itu. Catatan: Kami baru -baru ini menemukan bahwa XGBoost - perpustakaan yang digunakan untuk model pengganti kami - dapat menderita beberapa masalah ketidakcocokan dengan macOS. Pengguna yang mengalami masalah seperti itu dapat berkonsultasi dengan diskusi ini untuk detailnya.

Menggunakan tolok ukur

Membuat konfigurasi

Konfigurasi dalam ruang arsitektur gabungan dan hyperparameter (jahs) kami direpresentasikan sebagai kamus, misalnya,:

 config = {
    'Optimizer' : 'SGD' ,
    'LearningRate' : 0.1 ,
    'WeightDecay' : 5e-05 ,
    'Activation' : 'Mish' ,
    'TrivialAugment' : False ,
    'Op1' : 4 ,
    'Op2' : 1 ,
    'Op3' : 2 ,
    'Op4' : 0 ,
    'Op5' : 2 ,
    'Op6' : 1 ,
    'N' : 5 ,
    'W' : 16 ,
    'Resolution' : 1.0 ,
}

Untuk deskripsi lengkap tentang ruang pencarian dan konfigurasi, lihat dokumentasi kami.

Mengevaluasi konfigurasi

 import jahs_bench

benchmark = jahs_bench . Benchmark ( task = "cifar10" , download = True )

# Query a random configuration
config = benchmark . sample_config ()
results = benchmark ( config , nepochs = 200 )

# Display the outputs
print ( f"Config: { config } " )  # A dict
print ( f"Result: { results } " )  # A dict

Lebih banyak opsi evaluasi

API tolok ukur kami memungkinkan pengguna untuk meminta model pengganti (default) atau tabel data kinerja, atau melatih konfigurasi dari ruang pencarian kami dari awal menggunakan pipa yang sama seperti yang digunakan oleh tolok ukur kami. Namun, pengguna harus mencatat bahwa fungsionalitas yang terakhir memerlukan instalasi jahs_bench_201 dengan komponen data_creation opsional dan ketergantungannya yang relevan. Data yang relevan dapat diunduh secara otomatis oleh API kami. Lihat dokumentasi kami untuk detailnya.

Data benchmark

Kami memberikan dokumentasi untuk dataset kinerja yang digunakan untuk melatih model pengganti kami dan informasi lebih lanjut tentang model pengganti kami.