eie earth public

محرك ذكاء الأرض

إنشاء تصورات متسقة ماديًا للأحداث المناخية باستخدام نماذج الرؤية التوليدية العميقة

هذا هو المستودع الرسمي لمحرك ذكاء الأرض. يقوم هذا الكود بتدريب وتقييم نموذج الرؤية التوليدية العميقة (GAN) لتجميع صور متسقة ماديًا للفيضانات المستقبلية. يقوم الكود أيضًا بتدريب نموذج تجزئة الفيضان على الصور الجوية.

ابدء

يثبت

 git clone --recursive [email protected]:blutjens/earth-eie.git
cd earth-eie
conda env create -f conda.yaml
conda activate eie_vision
pip install -e .

نوصي بإعداد بيئتك باستخدام conda. إذا لم تكن على دراية بـ conda، فاقرأ هذه المقدمة.

لماذا git clone --recursive ؟ لأن لدينا وحدة فرعية واحدة على الأقل لاستضافة النماذج. هذا يعني أنك ستحتاج إلى تشغيل git submodule update عند تحديث جهاز التحكم عن بُعد.

مجموعة البيانات

تحميل من Huggingface

مجموعة البيانات الكاملة الخاصة بنا، محرك eie-earth-intelligence، متاحة على Huggingface. لتنزيل مجموعة البيانات عبر git lfs، يرجى اتباع التعليمات الموجودة في مجموعة البيانات README.md

إعادة إنتاج النتائج الرئيسية

تدريب نموذج الترجمة من صورة إلى صورة (im2im).

• للنموذج الرئيسي اتبع دفتر الملاحظات على الرابط. يحتوي هذا الكمبيوتر الدفتري على الأوامر الطرفية لتدريب نموذج الفيضان im2im على xbd2xbd. بعد التدريب، يتم استخدام النموذج لإنشاء تنبؤات على مجموعة الاختبار ويتم استخدام نموذج تجزئة الفيضان لإنشاء أقنعة الفيضان للصور التي تم إنشاؤها.
• قم بمراقبة التدريب عن طريق فتح ملف Index.html

إعادة إنشاء نماذج تصور الفيضانات الأساسية

• يمكن إعادة تدريب VAEGAN باستخدام الرابط.
• يمكن إنشاء خط الأساس الذي تم إنشاؤه يدويًا باستخدام [link]("sandbox/Color Baseline/Segmentflood_color.ipynb").

تقييم نموذج im2im

• قم بتقييم الصور باستخدام eval_main() كما هو موضح في Eva_notebook.ipynb

اختياري: إعادة إنتاج النتائج المساعدة

أعد تدريب نموذج تجزئة الفيضان على xbd-seg وقم بإنشاء تجزئة ما قبل الفيضان وما بعده

• تدريب وتقييم نموذج تجزئة الفيضانات باتباع مستودعنا الآخر eie-flood-seg
• انسخ وألصق أوزان النموذج من نقاط التفتيش/درجة الحرارة/ إلى التدريب المسبق/

تدريب على تجارب التعميم لـ naip2xbd وnaip2hou

• اتبع دفتر الملاحظات Train_conditional_binary_scratch_naip.ipynb

ملحقات لصور الغابات والغابات والقطب الشمالي

• تدريب نموذج تجزئة الجليد البحري في القطب الشمالي باستخدام تجزئة الجليد البحري في القطب الشمالي
• الكود الخاص بإنشاء تصورات إعادة التشجير غير متوفر حاليًا.

إعادة تنزيل ومعالجة البيانات الأولية

• xbd2xbd: قم بتنفيذ الخطوات الموجودة في مستودع المعالجة المسبقة لـ eie الخاص بنا لتنزيل مجموعة البيانات ومعالجتها. ستكون الخطوة الأولى هي تنزيل صور فيضان xBD الأولية من xview باتباع البرنامج النصي على: eie-preprocessing/scripts/download_xBD_geotiles.sh
• xbd-seg: بيانات التسمية اليدوية في xbd2xbd
• {naip2xbd, naip2hou, hou-seg}: اتبع الإرشادات الموجودة في الورقة.
• القطب الشمالي: اتبع الإرشادات الموجودة في full-pipeline/pipeline.sh في مستودع الجليد البحري في القطب الشمالي
• {forest, Forest-gtm}: اتبع الإرشادات الموجودة في الورقة.

التصور

• تصور الصور التي تم إنشاؤها كخريطة جغرافية مكانية كبيرة باستخدام align_slosh_w_naip.ipynb -> "إنشاء ملف tif كبير من الصور التي تم إنشاؤها"

هيكل المجلد

 - archive: legacy code and documents
- configs: hyperparameters for the tested models
- data: placeholder for raw, interim, and processed data 
- docs: documentation, references, and figures
- pretrained: placeholder for model checkpoints
- results: generated imagery
- sandbox: prototyping scripts and notebooks
- scripts: important scripts and notebooks
- src: model source code, forked from existing git repositories
- temp: temporary results while training the models

مرجع

 @article{lutjens2024eie,
  author = {Lütjens, Björn and Leshchinskiy, Brandon and Boulais, Océane and Chishtie, Farrukh and Díaz-Rodríguez, Natalia and Masson-Forsythe, Margaux and Mata-Payerro, Ana and Requena-Mesa, Christian and Sankaranarayanan, Aruna and Piña, Aaron and Gal, Yarin and Raïssi, Chedy and Lavin, Alexander and Newman, Dava},
  journal={IEEE Transactions on Geoscience and Remote Sensing},
  title={Generating Physically-Consistent Satellite Imagery for Climate Visualizations}, 
  year = {2024},
  doi={10.1109/TGRS.2024.3493763}
}