ai models
0.7.3
การปฏิเสธความรับผิด โครงการนี้เป็น รุ่นเบต้า และจะ เป็นการทดลอง สำหรับอนาคตอันใกล้ อินเทอร์เฟซและฟังก์ชันการทำงานมีแนวโน้มที่จะเปลี่ยนแปลง และตัวโครงการเองอาจถูกทิ้งร้าง ห้าม ใช้ซอฟต์แวร์นี้ในโครงการ/ซอฟต์แวร์ใดๆ ที่ใช้งานได้
คำสั่ง ai-models ใช้เพื่อรันโมเดลการพยากรณ์อากาศบนพื้นฐาน AI โมเดลเหล่านี้จำเป็นต้องติดตั้งแยกกัน
แม้ว่าซอร์สโค้ด ai-models และปลั๊กอินจะพร้อมใช้งานภายใต้ลิขสิทธิ์โอเพ่นซอร์ส แต่น้ำหนักโมเดลบางส่วนอาจมีให้ใช้งานภายใต้ลิขสิทธิ์อื่น ตัวอย่างเช่น บางรุ่นมีจำหน่ายตุ้มน้ำหนักภายใต้ใบอนุญาต CC-BY-NC-SA 4.0 ซึ่งไม่อนุญาตให้นำไปใช้ในเชิงพาณิชย์ สำหรับข้อมูลเพิ่มเติม โปรดตรวจสอบใบอนุญาตที่เกี่ยวข้องกับแต่ละรุ่นในหน้าแรกหลัก ซึ่งเราเชื่อมโยงจากปลั๊กอินแต่ละตัวที่เกี่ยวข้อง
ก่อนที่จะใช้คำสั่ง ai-models ตรวจสอบให้แน่ใจว่าคุณมีข้อกำหนดเบื้องต้นต่อไปนี้:
หากต้องการติดตั้งคำสั่ง ai-models ให้รันคำสั่งต่อไปนี้:
pip install ai-modelsปัจจุบันสามารถติดตั้งได้ 4 รุ่น:
pip install ai-models-panguweather
pip install ai-models-fourcastnet
pip install ai-models-graphcast # Install details at https://github.com/ecmwf-lab/ai-models-graphcast
pip install ai-models-fourcastnetv2ดู ai-models-panguweather, ai-models-fourcastnet, ai-models-fourcastnetv2 และ ai-models-graphcast สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับโมเดลเหล่านี้
ในการรันโมเดล ตรวจสอบให้แน่ใจว่าได้ติดตั้งแล้ว จากนั้นเพียงรัน:
ai-models < model-name > แทนที่ <model-name> ด้วยชื่อของโมเดล AI เฉพาะที่คุณต้องการเรียกใช้
ตามค่าเริ่มต้น โมเดลจะทำงานเป็นเวลา 10 วัน (240 ชั่วโมง) โดยใช้การวิเคราะห์ 12Z ของเมื่อวานจากไฟล์เก็บถาวร MARS ของ ECMWF
หากต้องการสร้างการคาดการณ์ 15 วัน ให้ใช้ตัวเลือก --lead-time HOURS :
ai-models --lead-time 360 < model-name >คุณสามารถเปลี่ยนค่าเริ่มต้นอื่นๆ ได้โดยใช้ตัวเลือกบรรทัดคำสั่งที่มีอยู่ ดังที่อธิบายไว้ด้านล่าง
โมเดล AI สามารถทำงานบน CPU ได้ อย่างไรก็ตาม พวกมันทำงานได้ดีกว่าอย่างมากบน GPU การคาดการณ์ 10 วันอาจใช้เวลาหลายชั่วโมงบน CPU แต่จะใช้เวลาเพียงประมาณหนึ่งนาทีสำหรับ GPU รุ่นใหม่
คุณเห็นข้อความต่อไปนี้เมื่อใช้งานโมเดล หมายความว่ารันไทม์ ONNX ไม่สามารถค้นหาไลบรารี CUDA บนระบบของคุณได้:
[W:onnxruntime:Default, onnxruntime_pybind_state.cc:541 CreateExecutionProviderInstance] ไม่สามารถสร้าง CUDAExecutionProvider ได้ โปรดอ้างอิง https://onnxruntime.ai/docs/reference/execution-providers/CUDA-ExecutionProvider.html#requirements เพื่อให้แน่ใจว่าเป็นไปตามการอ้างอิงทั้งหมด
เพื่อแก้ไขปัญหานี้ เราขอแนะนำให้คุณติดตั้ง ai-models ในสภาพแวดล้อม conda และติดตั้งไลบรารี CUDA ในสภาพแวดล้อมนั้น ตัวอย่างเช่น:
conda create -n ai-models python=3.10
conda activate ai-models
conda install cudatoolkit
pip install ai-models
...โมเดล AI อาศัยน้ำหนักและทรัพย์สินอื่นๆ ที่สร้างขึ้นระหว่างการฝึก ครั้งแรกที่คุณรันโมเดล คุณจะต้องดาวน์โหลดตุ้มน้ำหนักที่ได้รับการฝึกและเนื้อหาที่จำเป็นเพิ่มเติม
หากต้องการดาวน์โหลดเนื้อหาก่อนรันโมเดล ให้ใช้คำสั่งต่อไปนี้:
ai-models --download-assets < model-name >เนื้อหาจะถูกดาวน์โหลดหากจำเป็นและจัดเก็บไว้ในไดเร็กทอรีปัจจุบัน คุณสามารถระบุไดเรกทอรีอื่นเพื่อจัดเก็บเนื้อหาได้:
ai-models --download-assets --assets < some-directory > < model-name >จากนั้นในภายหลัง เพียงใช้:
ai-models --assets < some-directory > < model-name >หรือ
export AI_MODELS_ASSETS= < some-directory >
ai-models < model-name > เพื่อการจัดระเบียบไดเรกทอรี Asset ที่ดีขึ้น คุณสามารถใช้ตัวเลือก --assets-sub-directory ตัวเลือกนี้จะจัดเก็บทรัพย์สินของแต่ละรุ่นไว้ในไดเร็กทอรีย่อยของตัวเองภายในไดเร็กทอรีสินทรัพย์ที่ระบุ
โมเดลต้องการข้อมูลอินพุต (เงื่อนไขเริ่มต้น) จึงจะทำงานได้ คุณสามารถให้ข้อมูลอินพุตโดยใช้แหล่งต่างๆ ดังที่อธิบายไว้ด้านล่าง:
ตามค่าเริ่มต้น ai-models จะใช้การวิเคราะห์ 12Z ของเมื่อวานจาก ECMWF ซึ่งดึงมาจากไฟล์เก็บถาวร MARS ของศูนย์โดยใช้ ECMWF WebAPI คุณจะต้องมีบัญชี ECMWF เพื่อเข้าถึงบริการนั้น
หากต้องการเปลี่ยนวันที่หรือเวลา ให้ใช้ตัวเลือก --date และ --time ตามลำดับ:
ai-models --date YYYYMMDD --time HHMM < model-name >คุณสามารถเริ่มต้นแบบจำลองได้โดยใช้ข้อมูล ERA5 (ECMWF Reanalysis เวอร์ชัน 5) สำหรับ Copernicus Climate Data Store (CDS) คุณจะต้องสร้างบัญชีบน CDS ข้อมูลจะถูกดาวน์โหลดโดยใช้ CDS API
หากต้องการเข้าถึง CDS เพียงเพิ่ม --input cds บนบรรทัดคำสั่ง โปรดทราบว่าข้อมูล ERA5 จะถูกเพิ่มลงใน CDS โดยมีความล่าช้า ดังนั้นคุณจะต้องระบุวันที่ด้วย --date YYYYMMDD
ai-models --input cds --date 20230110 --time 0000 < model-name > หากคุณมีข้อมูลอินพุตในรูปแบบ GRIB คุณสามารถจัดเตรียมไฟล์โดยใช้ตัวเลือก --file :
ai-models --file < some-grib-file > < model-name > ไฟล์ GRIB สามารถมีช่องได้มากกว่าที่โมเดลต้องการ คำสั่ง ai-models จะเลือกฟิลด์ที่จำเป็นจากไฟล์โดยอัตโนมัติ
หากต้องการค้นหารายการฟิลด์ที่จำเป็นสำหรับโมเดลเฉพาะเป็นเงื่อนไขเริ่มต้น ให้ใช้คำสั่งต่อไปนี้:
ai-models --fields < model-name > ตามค่าเริ่มต้น เอาต์พุตโมเดลจะถูกเขียนในรูปแบบ GRIB ในไฟล์ชื่อ <model-name>.grib คุณสามารถเปลี่ยนชื่อไฟล์ได้ด้วยตัวเลือก --path <file-name> หากเส้นทางที่คุณระบุมีตัวยึดระหว่าง { และ } ไฟล์หลายไฟล์จะถูกสร้างขึ้นตามคีย์ eccodes ตัวอย่างเช่น:
ai-models --path ' out-{step}.grib ' < model-name >คำสั่งนี้จะสร้างไฟล์สำหรับแต่ละขั้นตอนเวลาที่คาดการณ์ไว้
หากคุณต้องการปิดการใช้งานการเขียนเอาต์พุตไปยังไฟล์ ให้ใช้ตัวเลือก --output none
มันมีตัวเลือกดังต่อไปนี้:
--help : แสดงข้อความช่วยเหลือนี้--models : แสดงรายการโมเดลที่ติดตั้งทั้งหมด--debug : เปิดโหมดแก้ไขข้อบกพร่อง สิ่งนี้จะพิมพ์ข้อมูลเพิ่มเติมไปยังคอนโซล --input INPUT : แหล่งอินพุตสำหรับโมเดล ซึ่งอาจเป็นไฟล์ mars , cds หรือ file
--file FILE : ไฟล์เฉพาะที่จะใช้เป็นอินพุต ตัวเลือกนี้จะตั้ง --source เป็น file
--date DATE : วันที่วิเคราะห์สำหรับแบบจำลอง ค่าเริ่มต้นนี้เป็นเมื่อวาน
--time TIME : เวลาวิเคราะห์สำหรับโมเดล ค่าเริ่มต้นนี้เป็น 1200
--output OUTPUT : ปลายทางเอาต์พุตสำหรับโมเดล ค่าเป็น file หรือ none--path PATH : เส้นทางในการเขียนเอาต์พุตของโมเดล--lead-time HOURS : จำนวนชั่วโมงที่จะคาดการณ์ ค่าเริ่มต้นคือ 240 (10 วัน)--assets ASSETS : ระบุเส้นทางไปยังไดเร็กทอรีที่มีเนื้อหาโมเดล ค่าเริ่มต้นคือไดเร็กทอรีปัจจุบัน แต่คุณสามารถแทนที่ได้โดยการตั้งค่าตัวแปรสภาพแวดล้อม $AI_MODELS_ASSETS--assets-sub-directory : เปิดใช้งานการจัดระเบียบสินทรัพย์ในไดเรกทอรีย่อย <assets-directory>/<model-name>--download-assets : ดาวน์โหลดเนื้อหาหากไม่มีอยู่--fields : พิมพ์รายการฟิลด์ที่โมเดลต้องการเป็นเงื่อนไขเริ่มต้น--expver EXPVER : เวอร์ชันทดลองของเอาต์พุตโมเดล--class CLASS : ข้อมูลเมตา 'คลาส' ของเอาต์พุตโมเดล--metadata KEY=VALUE : ข้อมูลเมตาเพิ่มเติมในเอาต์พุตโมเดล Copyright 2022, European Centre for Medium Range Weather Forecasts.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
In applying this licence, ECMWF does not waive the privileges and immunities
granted to it by virtue of its status as an intergovernmental organisation
nor does it submit to any jurisdiction.
