ai models

AIモデル

免責事項このプロジェクトはベータ版であり、近い将来は実験的になります。インターフェイスや機能が変更される可能性があり、プロジェクト自体が廃止される可能性があります。動作可能なプロジェクト/ソフトウェアではこのソフトウェアを使用しないでください。

ai-modelsコマンドは、AI ベースの天気予報モデルを実行するために使用されます。これらのモデルは個別にインストールする必要があります。

使用法

ソース コードai-modelsとそのプラグインはオープン ソース ライセンスで利用できますが、一部のモデルの重みは別のライセンスで利用できる場合があります。たとえば、一部のモデルでは、商用利用が許可されていない CC-BY-NC-SA 4.0 ライセンスに基づいて重量を利用できます。詳細については、メインのホームページで各モデルに関連付けられているライセンスを確認してください。このページは、対応する各プラグインからリンクされています。

前提条件

ai-modelsコマンドを使用する前に、次の前提条件を満たしていることを確認してください。

• Python 3.10 (異なるバージョンでも動作する可能性がありますが、Linux/MacOS では 3.10 でテストされています)。
• 入力データにアクセスするための ECMWF および/または CDS アカウント (詳細については以下を参照)。
• 最適なパフォーマンスを得るために GPU で計算されます (強く推奨)。

インストール

ai-modelsコマンドをインストールするには、次のコマンドを実行します。

pip install ai-models

利用可能なモデル

現在、次の 4 つのモデルがインストール可能です。

pip install ai-models-panguweather
pip install ai-models-fourcastnet
pip install ai-models-graphcast  # Install details at https://github.com/ecmwf-lab/ai-models-graphcast
pip install ai-models-fourcastnetv2

これらのモデルの詳細については、ai-models-panguweather、ai-models-fourcastnet、ai-models-fourcastnetv2、および ai-models-graphcast を参照してください。

モデルの実行

モデルを実行するには、それがインストールされていることを確認してから、次を実行するだけです。

ai-models < model-name >

<model-name> 、実行する特定の AI モデルの名前に置き換えます。

デフォルトでは、モデルは ECMWF の MARS アーカイブからの昨日の 12Z 解析を使用して、10 日間のリードタイム (240 時間) で実行されます。

15 日間の予測を生成するには、 --lead-time HOURSオプションを使用します。

ai-models --lead-time 360 < model-name >

以下で説明するように、使用可能なコマンド ライン オプションを使用して他のデフォルトを変更できます。

パフォーマンスに関する考慮事項

AI モデルは CPU 上で実行できます。ただし、GPU 上ではパフォーマンスが大幅に向上します。 10 日間の予測には CPU では数時間かかる場合がありますが、最新の GPU ではわずか 1 分程度です。

️最適なパフォーマンスを得るために、GPU を搭載したコンピューターでこれらのモデルを実行することを強くお勧めします。

モデルの実行時に次のメッセージが表示された場合は、ONNX ランタイムがシステム上で CUDA ライブラリを見つけることができなかったことを意味します。

[W:onnxruntime:Default, onnxruntime_pybind_state.cc:541 CreateExecutionProviderInstance] CUDAExecutionProvider の作成に失敗しました。すべての依存関係が満たされていることを確認するには、https://onnxruntime.ai/docs/reference/execution-providers/CUDA-ExecutionProvider.html#requirements を参照してください。

この問題を解決するには、 ai-models conda 環境にインストールし、CUDA ライブラリをその環境にインストールすることをお勧めします。例えば：

conda create -n ai-models python=3.10
conda activate ai-models
conda install cudatoolkit
pip install ai-models
...

資産

AI モデルは、トレーニング中に作成された重みやその他の資産に依存します。モデルを初めて実行するときは、トレーニングされた重みと追加の必要なアセットをダウンロードする必要があります。

モデルを実行する前にアセットをダウンロードするには、次のコマンドを使用します。

ai-models --download-assets < model-name >

アセットは必要に応じてダウンロードされ、現在のディレクトリに保存されます。アセットを保存するために別のディレクトリを指定できます。

ai-models --download-assets --assets < some-directory > < model-name >

その後、単に次のように使用します。

ai-models --assets < some-directory >  < model-name >

または

 export AI_MODELS_ASSETS= < some-directory >
ai-models < model-name >

アセット ディレクトリをより適切に構成するには、 --assets-sub-directoryオプションを使用できます。このオプションは、各モデルのアセットを、指定されたアセット ディレクトリ内の独自のサブディレクトリに保存します。

入力データ

モデルを実行するには入力データ (初期条件) が必要です。以下で説明するように、さまざまなソースを使用して入力データを提供できます。

火星から

デフォルトでは、 ai-models ECMWF WebAPI を使用してセンターの MARS アーカイブから取得した、ECMWF からの昨日の 12Z 分析を使用します。このサービスにアクセスするには、ECMWF アカウントが必要です。

日付または時刻を変更するには、それぞれ--dateおよび--timeオプションを使用します。

ai-models --date YYYYMMDD --time HHMM < model-name >

CDSから

コペルニクス気候データ ストア (CDS) の ERA5 (ECMWF 再解析バージョン 5) データを使用してモデルを開始できます。 CDS でアカウントを作成する必要があります。データは CDS API を使用してダウンロードされます。

CDS にアクセスするには、コマンド ラインに--input cdsを追加するだけです。 ERA5 データは遅れて CDS に追加されるため、 --date YYYYMMDDで日付も指定する必要があることに注意してください。

ai-models --input cds --date 20230110 --time 0000 < model-name >

GRIB ファイルから

GRIB 形式の入力データがある場合は、 --fileオプションを使用してファイルを提供できます。

ai-models --file < some-grib-file > < model-name >

GRIB ファイルには、モデルで必要なフィールドよりも多くのフィールドを含めることができます。 ai-modelsコマンドは、ファイルから必要なフィールドを自動的に選択します。

特定のモデルで初期条件として必要なフィールドのリストを確認するには、次のコマンドを使用します。

 ai-models --fields < model-name > 

出力

デフォルトでは、モデル出力は GRIB 形式で<model-name>.gribというファイルに書き込まれます。ファイル名は、 --path <file-name>オプションを使用して変更できます。指定したパスに{と}の間のプレースホルダーが含まれている場合、eccodes キーに基づいて複数のファイルが作成されます。例えば：

 ai-models --path ' out-{step}.grib ' < model-name >

このコマンドは、予測された時間ステップごとにファイルを作成します。

ファイルへの出力の書き込みを無効にする場合は、 --output noneオプションを使用します。

コマンドラインオプション

次のオプションがあります。

• --help : このヘルプ メッセージを表示します。
• --models : インストールされているすべてのモデルをリストします。
• --debug : デバッグ モードをオンにします。これにより、追加情報がコンソールに出力されます。

入力

• --input INPUT : モデルの入力ソース。これはmars 、 cds 、またはfileです。

• --file FILE : 入力として使用する特定のファイル。このオプションは--source fileに設定します。

• --date DATE : モデルの分析日。デフォルトでは昨日になります。

• --time TIME : モデルの解析時間。デフォルトは 1200 です。

出力

• --output OUTPUT : モデルの出力先。値はfileまたはnoneです。
• --path PATH : モデルの出力を書き込むパス。

走る

• --lead-time HOURS : 予測する時間数。デフォルトは 240 (10 日) です。

資産管理

• --assets ASSETS : モデル アセットを含むディレクトリへのパスを指定します。デフォルトは現在のディレクトリですが、 $AI_MODELS_ASSETS環境変数を設定することで上書きできます。
• --assets-sub-directory : <assets-directory>/<model-name>サブディレクトリ内のアセットの整理を有効にします。
• --download-assets : アセットが存在しない場合は、アセットをダウンロードします。

その他オプション

• --fields : モデルに必要なフィールドのリストを初期条件として出力します。
• --expver EXPVER : モデル出力の実験バージョン。
• --class CLASS : モデル出力の「クラス」メタデータ。
• --metadata KEY=VALUE : モデル出力内の追加のメタデータ メタデータ

ライセンス

 Copyright 2022, European Centre for Medium Range Weather Forecasts.

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.

In applying this licence, ECMWF does not waive the privileges and immunities
granted to it by virtue of its status as an intergovernmental organisation
nor does it submit to any jurisdiction.