jahs_bench_201

Jahs-Bench-2011

联合体系结构和超参数搜索（JAHS）的第一批替代基准集合，旨在支持和促进对多目标，成本感和（多）多足够优化算法的研究。

请在此处查看我们的文档。有关数据收集和替代创建过程以及我们的实验的精确详细信息，可以在调查的出版物中找到。

安装

使用PIP

pip install jahs-bench

可选地，您可以通过提前下载使用替代基准的数据

python -m jahs_bench.download --target surrogates

为了测试安装是否成功，您可以，例如，使用

python -m jahs_bench_examples.minimal

这应该随机采样配置，并同时显示采样配置和查询该配置的替代物的结果。注意：我们最近发现，Xgboost（用于我们的替代模型的库）可能会遇到MacOS的一些不兼容问题。遇到此类问题的用户可以咨询此讨论以获取详细信息。

使用基准

创建配置

我们的联合体系结构和超参数（JAHS）空间中的配置表示为词典，例如：

 config = {
    'Optimizer' : 'SGD' ,
    'LearningRate' : 0.1 ,
    'WeightDecay' : 5e-05 ,
    'Activation' : 'Mish' ,
    'TrivialAugment' : False ,
    'Op1' : 4 ,
    'Op2' : 1 ,
    'Op3' : 2 ,
    'Op4' : 0 ,
    'Op5' : 2 ,
    'Op6' : 1 ,
    'N' : 5 ,
    'W' : 16 ,
    'Resolution' : 1.0 ,
}

有关搜索空间和配置的完整说明，请参阅我们的文档。

评估配置

 import jahs_bench

benchmark = jahs_bench . Benchmark ( task = "cifar10" , download = True )

# Query a random configuration
config = benchmark . sample_config ()
results = benchmark ( config , nepochs = 200 )

# Display the outputs
print ( f"Config: { config } " )  # A dict
print ( f"Result: { results } " )  # A dict

更多评估选项

我们的基准测试的API使用户可以使用与基准测试的相同管道从搜索空间中查询替代模型（默认）或性能数据表，或者从搜索空间训练配置。但是，用户应注意，后一种功能需要使用可选的data_creation组件及其相关依赖项安装jahs_bench_201 。相关数据可以由我们的API自动下载。有关详细信息，请参见我们的文档。

基准数据

我们为用于培训替代模型的性能数据集提供文档，并提供有关代理模型的更多信息。

实验和评估协议

请参阅我们的实验存储库和文档。

排行榜

我们维护几个优化任务和算法框架的排行榜。