jahs_bench_201

Jahs-Bench-2010

공동 아키텍처 및 하이퍼 파라미터 검색 (JAHS)을위한 대리 벤치 마크의 첫 번째 컬렉션은 다목적, 비용 인간 및 (다중) 다중 실체 최적화 알고리즘에 대한 연구를 지원하고 촉진하도록 구축되었습니다.

여기서 문서를 참조하십시오. 데이터 수집 및 대리 생성 프로세스 및 실험에 대한 정확한 세부 사항은 Assisciated Publication에서 찾을 수 있습니다.

설치

PIP 사용

pip install jahs-bench

선택적으로 대리 벤치 마크를 사용하는 데 필요한 데이터를 다운로드 할 수 있습니다.

python -m jahs_bench.download --target surrogates

설치가 성공했는지 테스트하려면 예를 들어 최소한의 예제를 실행할 수 있습니다.

python -m jahs_bench_examples.minimal

이렇게하면 구성을 무작위로 샘플링하고 샘플링 된 구성과 해당 구성에 대한 대리 쿼리 결과를 모두 표시해야합니다. 참고 : 최근 대리 모델에 사용되는 라이브러리 인 XGBOOST는 MACOS와 비 호환성 문제로 어려움을 겪을 수 있음을 발견했습니다. 그러한 문제를 겪는 사용자는이 토론과 상담 할 수 있습니다.

벤치 마크 사용

구성 생성

조인트 아키텍처 및 하이퍼 파라미터 (JAHS) 공간의 구성은 사전으로 표시됩니다.

 config = {
    'Optimizer' : 'SGD' ,
    'LearningRate' : 0.1 ,
    'WeightDecay' : 5e-05 ,
    'Activation' : 'Mish' ,
    'TrivialAugment' : False ,
    'Op1' : 4 ,
    'Op2' : 1 ,
    'Op3' : 2 ,
    'Op4' : 0 ,
    'Op5' : 2 ,
    'Op6' : 1 ,
    'N' : 5 ,
    'W' : 16 ,
    'Resolution' : 1.0 ,
}

검색 공간 및 구성에 대한 전체 설명은 문서를 참조하십시오.

구성 평가

 import jahs_bench

benchmark = jahs_bench . Benchmark ( task = "cifar10" , download = True )

# Query a random configuration
config = benchmark . sample_config ()
results = benchmark ( config , nepochs = 200 )

# Display the outputs
print ( f"Config: { config } " )  # A dict
print ( f"Result: { results } " )  # A dict

더 많은 평가 옵션

벤치 마크의 API를 통해 사용자는 대리 모델 (기본값) 또는 성능 데이터 테이블을 쿼리하거나 벤치 마크에서 사용한 것과 동일한 파이프 라인을 사용하여 검색 공간의 구성을 처음부터 검색 공간에서 훈련시킬 수 있습니다. 그러나 사용자는 후자의 기능에 선택적인 data_creation 구성 요소 및 관련 종속성을 사용하여 jahs_bench_201 을 설치해야합니다. 관련 데이터는 API에서 자동으로 다운로드 할 수 있습니다. 자세한 내용은 문서를 참조하십시오.

벤치 마크 데이터

우리는 대리 모델을 훈련시키는 데 사용되는 성능 데이터 세트에 대한 문서와 대리 모델에 대한 추가 정보를 제공합니다.

실험 및 평가 프로토콜

실험 저장소와 문서를 참조하십시오.

리더 보드

우리는 여러 최적화 작업 및 알고리즘 프레임 워크에 대한 리더 보드를 유지합니다.