تنزيل Change Agent - تنزيل رمز مصدر Change Agent

Change Agent

شفرة المصدر الأخرى

تنزيل

عامل التغيير: نحو تفسير وتحليل تغيير الاستشعار عن بعد التفاعلي الشامل

تشينيانغ ليو، كيان تشين، هاوتيان تشانغ، زيبينج تشي، زينجشيا زو، وزينوي شي*✉

شاركنا إذا كنت مهتمًا بهذا الريبو

تنفيذ PyTorch الرسمي للورقة: " عامل التغيير: نحو تفسير وتحليل تغيير شامل تفاعلي للاستشعار عن بعد " في [IEEE] (مقبول من IEEE TGRS 2024)

أخبار

2024-06: الكود متاح .
2024-03: الورقة متاحة .

جدول المحتويات

مجموعة بيانات LEVIR-MCI
التدريب على نموذج MCI
بناء وكيل التغيير
الاقتباس

مجموعة بيانات LEVIR-MCI

قم بتنزيل مجموعة بيانات LEVIR_MCI: LEVIR-MCI ( متوفر الآن! ).
تعد مجموعة البيانات هذه امتدادًا لمجموعة بيانات LEVIR-CC التي تم إنشاؤها مسبقًا. ويحتوي على صور ثنائية الزمانية بالإضافة إلى أقنعة كشف التغيير المتنوعة والجمل الوصفية. فهو يوفر أساسًا مهمًا للبيانات لاستكشاف التعلم متعدد المهام لاكتشاف التغيير وتغيير التسميات التوضيحية.

التدريب على نموذج تفسير التغيير متعدد المستويات

نظرة عامة على نموذج MCI:

تحضير

تركيب البيئة :

الخطوة 1 : قم بإنشاء بيئة افتراضية باسم Multi_change_env وقم بتنشيطها.

 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env

الخطوة 2 : تنزيل المستودع أو استنساخه

 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change

الخطوة 3 : تثبيت التبعيات.

 pip install - r requirements . txt

تنزيل مجموعة البيانات :

الرابط: ليفير-MCI. يتم تنظيم بنية بيانات LEVIR-MCI على النحو التالي:

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

حيث يحتوي المجلد A على صور ما قبل المرحلة، ويحتوي المجلد B على صور ما بعد المرحلة، وتحتوي label المجلد على أقنعة اكتشاف التغيير.

استخراج الملفات النصية لأوصاف كل زوج من الصور في LEVIR-MCI :
```
 python preprocess_data.py
```
بعد ذلك، يمكنك العثور على بعض الملفات التي تم إنشاؤها في ./data/LEVIR_MCI/ .

يدرب

تأكد من قيامك بإعداد البيانات أعلاه. ثم ابدأ التدريب على النحو التالي:

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

يقيم

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

نوصي بتدريب النموذج 5 مرات للحصول على متوسط الدرجات.

الاستدلال

قم بتشغيل الاستدلال للبدء كما يلي:

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

يمكنك تعديل --checkpoint الخاص بـ Change_Perception.define_args() في predict.py . ثم يمكنك استخدام النموذج الخاص بك، بالطبع، يمكنك أيضًا تنزيل نموذجنا المُدرب مسبقًا MCI_model.pth هنا: [وجه معانقة]. بعد ذلك ضعه في ./models_ckpt/ .

بناء وكيل التغيير

تثبيت الوكيل :

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

وكيل التشغيل :

القرص المضغوط في مجلد Multi_change :

 cd . / Change - Agent / Multi_change

(1) تشغيل العرض التوضيحي لـ Agent Cli:

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) تشغيل العرض التوضيحي للويب للوكيل:

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

الاقتباس

إذا وجدت هذه الورقة مفيدة في بحثك، يرجى مراعاة الاستشهاد بما يلي:

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}