jahs_bench_201

Jahs-Bench-2011

聯合體系結構和超參數搜索（JAHS）的第一批替代基準集合，旨在支持和促進對多目標，成本感和（多）多足夠優化算法的研究。

請在此處查看我們的文檔。有關數據收集和替代創建過程以及我們的實驗的精確詳細信息，可以在調查的出版物中找到。

安裝

使用PIP

pip install jahs-bench

可選地，您可以通過提前下載使用替代基準的數據

python -m jahs_bench.download --target surrogates

為了測試安裝是否成功，您可以，例如，使用

python -m jahs_bench_examples.minimal

這應該隨機採樣配置，並同時顯示採樣配置和查詢該配置的替代物的結果。注意：我們最近發現，Xgboost（用於我們的替代模型的庫）可能會遇到MacOS的一些不兼容問題。遇到此類問題的用戶可以諮詢此討論以獲取詳細信息。

使用基準

創建配置

我們的聯合體系結構和超參數（JAHS）空間中的配置表示為詞典，例如：

 config = {
    'Optimizer' : 'SGD' ,
    'LearningRate' : 0.1 ,
    'WeightDecay' : 5e-05 ,
    'Activation' : 'Mish' ,
    'TrivialAugment' : False ,
    'Op1' : 4 ,
    'Op2' : 1 ,
    'Op3' : 2 ,
    'Op4' : 0 ,
    'Op5' : 2 ,
    'Op6' : 1 ,
    'N' : 5 ,
    'W' : 16 ,
    'Resolution' : 1.0 ,
}

有關搜索空間和配置的完整說明，請參閱我們的文檔。

評估配置

 import jahs_bench

benchmark = jahs_bench . Benchmark ( task = "cifar10" , download = True )

# Query a random configuration
config = benchmark . sample_config ()
results = benchmark ( config , nepochs = 200 )

# Display the outputs
print ( f"Config: { config } " )  # A dict
print ( f"Result: { results } " )  # A dict

更多評估選項

我們的基準測試的API使用戶可以使用與基準測試的相同管道從搜索空間中查詢替代模型（默認）或性能數據表，或者從搜索空間訓練配置。但是，用戶應注意，後一種功能需要使用可選的data_creation組件及其相關依賴項安裝jahs_bench_201 。相關數據可以由我們的API自動下載。有關詳細信息，請參見我們的文檔。

基準數據

我們為用於培訓替代模型的性能數據集提供文檔，並提供有關代理模型的更多信息。

實驗和評估協議

請參閱我們的實驗存儲庫和文檔。

排行榜

我們維護幾個優化任務和算法框架的排行榜。