ai models

AI 모델

면책조항 이 프로젝트는 베타 버전 이며 가까운 미래에 실험적으로 진행될 예정입니다. 인터페이스와 기능이 변경될 가능성이 높으며 프로젝트 자체가 폐기될 수 있습니다. 작동 중인 프로젝트/소프트웨어에서는 이 소프트웨어를 사용 하지 마십시오 .

ai-models 명령은 AI 기반 일기예보 모델을 실행하는 데 사용됩니다. 이러한 모델은 독립적으로 설치해야 합니다.

용법

소스 코드 ai-models 과 해당 플러그인은 오픈 소스 라이선스에 따라 제공되지만 일부 모델 가중치는 다른 라이선스에 따라 제공될 수 있습니다. 예를 들어 일부 모델은 상업적 사용을 허용하지 않는 CC-BY-NC-SA 4.0 라이센스에 따라 무게를 사용할 수 있습니다. 자세한 내용은 각 해당 플러그인에서 링크된 기본 홈 페이지에서 각 모델과 관련된 라이센스를 확인하세요.

전제 조건

ai-models 명령을 사용하기 전에 다음 사전 요구 사항이 있는지 확인하세요.

• Python 3.10(다른 버전에서도 작동할 수 있지만 Linux/MacOS에서는 3.10에서 테스트되었습니다).
• 입력 데이터에 액세스하기 위한 ECMWF 및/또는 CDS 계정(자세한 내용은 아래 참조)
• 최적의 성능을 위해 GPU로 계산됩니다(강력히 권장됨).

설치

ai-models 명령을 설치하려면 다음 명령을 실행합니다.

pip install ai-models

사용 가능한 모델

현재 4가지 모델을 설치할 수 있습니다.

pip install ai-models-panguweather
pip install ai-models-fourcastnet
pip install ai-models-graphcast  # Install details at https://github.com/ecmwf-lab/ai-models-graphcast
pip install ai-models-fourcastnetv2

이러한 모델에 대한 자세한 내용은 ai-models-panguweather, ai-models-fourcastnet, ai-models-fourcastnetv2 및 ai-models-graphcast를 참조하세요.

모델 실행

모델을 실행하려면 모델이 설치되어 있는지 확인한 후 다음을 실행하세요.

ai-models < model-name >

<model-name> 실행하려는 특정 AI 모델의 이름으로 바꿉니다.

기본적으로 모델은 ECMWF MARS 아카이브의 어제 12Z 분석을 사용하여 10일 리드 타임(240시간) 동안 실행됩니다.

15일 예측을 생성하려면 --lead-time HOURS 옵션을 사용합니다.

ai-models --lead-time 360 < model-name >

아래 설명된 대로 사용 가능한 명령줄 옵션을 사용하여 다른 기본값을 변경할 수 있습니다.

성능 고려 사항

AI 모델은 CPU에서 실행될 수 있습니다. 그러나 GPU에서는 훨씬 더 나은 성능을 발휘합니다. 10일 예측은 CPU에서는 몇 시간이 걸릴 수 있지만 최신 GPU에서는 약 1분 밖에 걸리지 않습니다.

️ 최적의 성능을 위해 GPU가 장착된 컴퓨터에서 이러한 모델을 실행하는 것이 좋습니다.

모델을 실행할 때 다음 메시지가 표시되면 ONNX 런타임이 시스템에서 CUDA 라이브러리를 찾을 수 없다는 의미입니다.

[W:onnxruntime:Default, onnxruntime_pybind_state.cc:541 CreateExecutionProviderInstance] CUDAExecutionProvider를 생성하지 못했습니다. 모든 종속성이 충족되는지 확인하려면 https://onnxruntime.ai/docs/reference/execution-providers/CUDA-ExecutionProvider.html#requirements를 참조하세요.

이 문제를 해결하려면 conda 환경에 ai-models 설치하고 해당 환경에 CUDA 라이브러리를 설치하는 것이 좋습니다. 예를 들어:

conda create -n ai-models python=3.10
conda activate ai-models
conda install cudatoolkit
pip install ai-models
...

자산

AI 모델은 훈련 중에 생성된 가중치 및 기타 자산에 의존합니다. 모델을 처음 실행하는 경우 학습된 가중치와 추가 필수 자산을 다운로드해야 합니다.

모델을 실행하기 전에 자산을 다운로드하려면 다음 명령을 사용하십시오.

ai-models --download-assets < model-name >

필요한 경우 자산이 다운로드되어 현재 디렉터리에 저장됩니다. 자산을 저장하기 위해 다른 디렉터리를 제공할 수 있습니다.

ai-models --download-assets --assets < some-directory > < model-name >

그런 다음 나중에 간단히 다음을 사용하십시오.

ai-models --assets < some-directory >  < model-name >

또는

 export AI_MODELS_ASSETS= < some-directory >
ai-models < model-name >

자산 디렉토리를 더 효과적으로 구성하려면 --assets-sub-directory 옵션을 사용할 수 있습니다. 이 옵션은 각 모델의 자산을 지정된 자산 디렉터리 내의 자체 하위 디렉터리에 저장합니다.

입력 데이터

모델을 실행하려면 입력 데이터(초기 조건)가 필요합니다. 아래 설명과 같이 다양한 소스를 사용하여 입력 데이터를 제공할 수 있습니다.

화성에서

기본적으로 ai-models ECMWF WebAPI를 사용하여 센터의 MARS 아카이브에서 가져온 ECMWF의 어제 12Z 분석을 사용합니다. 해당 서비스에 액세스하려면 ECMWF 계정이 필요합니다.

날짜 또는 시간을 변경하려면 각각 --date 및 --time 옵션을 사용하십시오.

ai-models --date YYYYMMDD --time HHMM < model-name >

CDS에서

Copernicus Climate Data Store(CDS)용 ERA5(ECMWF 재분석 버전 5) 데이터를 사용하여 모델을 시작할 수 있습니다. CDS에 계정을 만들어야 합니다. 데이터는 CDS API를 사용하여 다운로드됩니다.

CDS에 액세스하려면 명령줄에 --input cds 추가하면 됩니다. ERA5 데이터는 지연 후 CDS에 추가되므로 --date YYYYMMDD 를 사용하여 날짜도 제공해야 합니다.

ai-models --input cds --date 20230110 --time 0000 < model-name >

GRIB 파일에서

GRIB 형식의 입력 데이터가 있는 경우 --file 옵션을 사용하여 파일을 제공할 수 있습니다.

ai-models --file < some-grib-file > < model-name >

GRIB 파일에는 모델에 필요한 것보다 더 많은 필드가 포함될 수 있습니다. ai-models 명령은 파일에서 필요한 필드를 자동으로 선택합니다.

특정 모델에 초기 조건으로 필요한 필드 목록을 찾으려면 다음 명령을 사용하십시오.

 ai-models --fields < model-name > 

산출

기본적으로 모델 출력은 <model-name>.grib 이라는 파일에 GRIB 형식으로 기록됩니다. --path <file-name> 옵션을 사용하여 파일 이름을 변경할 수 있습니다. 지정한 경로에 { 와 } 사이에 자리 표시자가 포함되어 있으면 eccodes 키를 기반으로 여러 파일이 생성됩니다. 예를 들어:

 ai-models --path ' out-{step}.grib ' < model-name >

이 명령은 예측된 각 시간 단계에 대한 파일을 생성합니다.

출력을 파일에 쓰는 것을 비활성화하려면 --output none 옵션을 사용하십시오.

명령줄 옵션

다음과 같은 옵션이 있습니다:

• --help : 이 도움말 메시지를 표시합니다.
• --models : 설치된 모든 모델을 나열합니다.
• --debug : 디버그 모드를 켭니다. 그러면 콘솔에 추가 정보가 인쇄됩니다.

입력

• --input INPUT : 모델의 입력 소스입니다. 이는 mars , cds 또는 file 일 수 있습니다.

• --file FILE : 입력으로 사용할 특정 파일입니다. 이 옵션은 --source file 로 설정합니다.

• --date DATE : 모델의 분석 날짜입니다. 기본값은 어제입니다.

• --time TIME : 모델의 분석 시간입니다. 기본값은 1200입니다.

산출

• --output OUTPUT : 모델의 출력 대상입니다. 값은 file 또는 none 입니다.
• --path PATH : 모델의 출력을 쓰는 경로입니다.

달리다

• --lead-time HOURS : 예측할 시간입니다. 기본값은 240(10일)입니다.

자산관리

• --assets ASSETS : 모델 자산이 포함된 디렉터리의 경로를 지정합니다. 기본값은 현재 디렉터리이지만 $AI_MODELS_ASSETS 환경 변수를 설정하여 이를 재정의할 수 있습니다.
• --assets-sub-directory : <assets-directory>/<model-name> 하위 디렉터리에서 자산을 구성할 수 있습니다.
• --download-assets : 자산이 없는 경우 자산을 다운로드합니다.

기타 옵션

• --fields : 모델에 필요한 필드 목록을 초기 조건으로 인쇄합니다.
• --expver EXPVER : 모델 출력의 실험 버전입니다.
• --class CLASS : 모델 출력의 '클래스' 메타데이터입니다.
• --metadata KEY=VALUE : 모델 출력의 추가 메타데이터 메타데이터

특허

 Copyright 2022, European Centre for Medium Range Weather Forecasts.

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.

In applying this licence, ECMWF does not waive the privileges and immunities
granted to it by virtue of its status as an intergovernmental organisation
nor does it submit to any jurisdiction.