ai models
0.7.3
ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ Этот проект является БЕТА-версией и в обозримом будущем будет экспериментальным . Интерфейсы и функциональность, скорее всего, изменятся, а сам проект может быть свернут. НЕ ИСПОЛЬЗУЙТЕ это программное обеспечение в любом работающем проекте/программном обеспечении.
Команда ai-models используется для запуска моделей прогнозирования погоды на основе искусственного интеллекта. Эти модели необходимо устанавливать самостоятельно.
Хотя исходный код ai-models и его плагины доступны по лицензиям с открытым исходным кодом, некоторые веса моделей могут быть доступны по другой лицензии. Например, некоторые модели предоставляют свои веса по лицензии CC-BY-NC-SA 4.0, которая не позволяет использовать их в коммерческих целях. Для получения дополнительной информации проверьте лицензию, связанную с каждой моделью, на их главной домашней странице, на которую мы ссылаемся с каждого из соответствующих плагинов.
Перед использованием команды ai-models убедитесь, что у вас есть следующие предварительные условия:
Чтобы установить команду ai-models , выполните следующую команду:
pip install ai-modelsНа данный момент можно установить четыре модели:
pip install ai-models-panguweather
pip install ai-models-fourcastnet
pip install ai-models-graphcast # Install details at https://github.com/ecmwf-lab/ai-models-graphcast
pip install ai-models-fourcastnetv2Дополнительные сведения об этих моделях см. в разделах ai-models-panguweather, ai-models-fourcastnet, ai-models-fourcastnetv2 и ai-models-graphcast.
Чтобы запустить модель, убедитесь, что она установлена, а затем просто запустите:
ai-models < model-name > Замените <model-name> именем конкретной модели ИИ, которую вы хотите запустить.
По умолчанию модель будет запускаться в течение 10 дней (240 часов) с использованием вчерашнего анализа 12Z из архива MARS ECMWF.
Чтобы создать прогноз на 15 дней, используйте опцию --lead-time HOURS :
ai-models --lead-time 360 < model-name >Вы можете изменить другие значения по умолчанию, используя доступные параметры командной строки, как описано ниже.
Модели искусственного интеллекта могут работать на процессоре; однако они работают значительно лучше на графическом процессоре. Прогноз на 10 дней может занять несколько часов на процессоре и всего около одной минуты на современном графическом процессоре.
Если при запуске модели вы видите следующее сообщение, это означает, что среда выполнения ONNX не смогла найти библиотеки CUDA в вашей системе:
[W:onnxruntime:Default, onnxruntime_pybind_state.cc:541 CreateExecutionProviderInstance] Не удалось создать CUDAExecutionProvider. См. https://onnxruntime.ai/docs/reference/execution-providers/CUDA-ExecutionProvider.html#requirements, чтобы убедиться, что все зависимости соблюдены.
Чтобы решить эту проблему, мы предлагаем вам установить ai-models в среде conda и установить библиотеки CUDA в этой среде. Например:
conda create -n ai-models python=3.10
conda activate ai-models
conda install cudatoolkit
pip install ai-models
...Модели ИИ полагаются на веса и другие ресурсы, созданные во время обучения. При первом запуске модели вам потребуется загрузить обученные веса и любые дополнительные необходимые ресурсы.
Чтобы загрузить ресурсы перед запуском модели, используйте следующую команду:
ai-models --download-assets < model-name >При необходимости ресурсы будут загружены и сохранены в текущем каталоге. Вы можете указать другой каталог для хранения ресурсов:
ai-models --download-assets --assets < some-directory > < model-name >Затем, позже, просто используйте:
ai-models --assets < some-directory > < model-name >или
export AI_MODELS_ASSETS= < some-directory >
ai-models < model-name > Для лучшей организации каталога ресурсов вы можете использовать опцию --assets-sub-directory . Эта опция сохранит ресурсы каждой модели в отдельном подкаталоге внутри указанного каталога ресурсов.
Для запуска моделей требуются входные данные (начальные условия). Вы можете предоставить входные данные, используя разные источники, как описано ниже:
По умолчанию ai-models используют вчерашний анализ 12Z из ECMWF, полученный из архива MARS Центра с помощью ECMWF WebAPI. Для доступа к этой услуге вам понадобится учетная запись ECMWF.
Чтобы изменить дату или время, используйте опции --date и --time соответственно:
ai-models --date YYYYMMDD --time HHMM < model-name >Вы можете запустить модели, используя данные ERA5 (реанализ ECMWF, версия 5) для хранилища климатических данных Copernicus (CDS). Вам нужно будет создать учетную запись на CDS. Данные будут загружены с помощью CDS API.
Чтобы получить доступ к CDS, просто добавьте --input cds в командной строке. Обратите внимание, что данные ERA5 добавляются в CDS с задержкой, поэтому вам также придется указать дату с помощью --date YYYYMMDD .
ai-models --input cds --date 20230110 --time 0000 < model-name > Если у вас есть входные данные в формате GRIB, вы можете предоставить файл, используя опцию --file :
ai-models --file < some-grib-file > < model-name > Файл GRIB может содержать больше полей, чем требуется моделью. Команда ai-models автоматически выберет необходимые поля из файла.
Чтобы узнать список полей, необходимых конкретной модели в качестве начальных условий, используйте следующую команду:
ai-models --fields < model-name > По умолчанию выходные данные модели будут записаны в формате GRIB в файле с именем <model-name>.grib . Вы можете изменить имя файла с помощью опции --path <file-name> . Если указанный вами путь содержит заполнители между { и } , на основе ключей эккодирования будет создано несколько файлов. Например:
ai-models --path ' out-{step}.grib ' < model-name >Эта команда создаст файл для каждого прогнозируемого временного шага.
Если вы хотите отключить запись вывода в файл, используйте опцию --output none .
Он имеет следующие параметры:
--help : отображает это справочное сообщение.--models : список всех установленных моделей.--debug : включает режим отладки. Это выведет дополнительную информацию на консоль. --input INPUT : источник входных данных для модели. Это может быть mars , cds или file .
--file FILE : конкретный файл, который будет использоваться в качестве входных данных. Эта опция установит --source в file .
--date DATE : дата анализа модели. По умолчанию это вчерашний день.
--time TIME : время анализа модели. По умолчанию это 1200.
--output OUTPUT : место назначения вывода модели. Значения: file или none .--path PATH : путь для записи выходных данных модели.--lead-time HOURS : количество часов для прогнозирования. Значение по умолчанию — 240 (10 дней).--assets ASSETS : указывает путь к каталогу, содержащему ресурсы модели. По умолчанию используется текущий каталог, но вы можете переопределить его, установив переменную среды $AI_MODELS_ASSETS .--assets-sub-directory : позволяет организовывать ресурсы в подкаталогах <assets-directory>/<model-name> .--download-assets : загружает ресурсы, если они не существуют.--fields : Распечатать список полей, необходимых модели в качестве начальных условий.--expver EXPVER : Экспериментальная версия выходных данных модели.--class CLASS : метаданные «класса» выходных данных модели.--metadata KEY=VALUE : дополнительные метаданные в выходных данных модели. Copyright 2022, European Centre for Medium Range Weather Forecasts.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
In applying this licence, ECMWF does not waive the privileges and immunities
granted to it by virtue of its status as an intergovernmental organisation
nor does it submit to any jurisdiction.
