Agent de changement : vers une interprétation et une analyse interactives et complètes du changement par télédétection

Chenyang Liu, Keyan Chen, Haotian Zhang, Zipeng Qi, Zhengxia Zou et Zhenwei Shi*✉

Partagez-nous un si vous êtes intéressé par ce repo

Implémentation officielle PyTorch du document : " Change-Agent : Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis " dans [IEEE] (accepté par IEEE TRGS 2024)

Nouvelles

2024-06 : Le code est disponible .
2024-03 : Le document est disponible .

Table des matières

Ensemble de données LEVIR-MCI
Formation du modèle MCI
Construction d'un agent de changement
Citation

Ensemble de données LEVIR-MCI

Téléchargez l'ensemble de données LEVIR_MCI : LEVIR-MCI ( Disponible maintenant ! ).
Cet ensemble de données est une extension de notre ensemble de données LEVIR-CC précédemment établi. Il contient des images bitemporelles ainsi que divers masques de détection de changements et phrases descriptives. Il fournit une base de données cruciale pour explorer l’apprentissage multitâche pour la détection des changements et le sous-titrage des changements.

Formation du modèle d'interprétation du changement multi-niveaux

L’aperçu du modèle MCI :

Préparation

Installation de l'environnement :

Étape 1 : Créez un environnement virtuel nommé Multi_change_env et activez-le.

 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env

Étape 2 : Téléchargez ou clonez le référentiel.

 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change

Étape 3 : Installez les dépendances.

 pip install - r requirements . txt

Télécharger l'ensemble de données :

Lien : LEVIR-MCI. La structure des données de LEVIR-MCI est organisée comme suit :

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

où le dossier A contient des images de pré-phase, le dossier B contient des images de post-phase et label du dossier contient les masques de détection de modification.

Extrayez les fichiers texte pour les descriptions de chaque paire d'images dans LEVIR-MCI :
```
 python preprocess_data.py
```
Après cela, vous pouvez trouver certains fichiers générés dans ./data/LEVIR_MCI/ .

Former

Assurez-vous d'avoir effectué la préparation des données ci-dessus. Ensuite, commencez la formation comme suit :

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

Évaluer

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

Nous recommandons d'entraîner le modèle 5 fois pour obtenir un score moyen.

Inférence

Exécutez l'inférence pour commencer comme suit :

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

Vous pouvez modifier --checkpoint de Change_Perception.define_args() dans predict.py . Ensuite, vous pouvez utiliser votre propre modèle, bien sûr, vous pouvez également télécharger notre modèle pré-entraîné MCI_model.pth ici : [Hugging face]. Après cela, mettez-le dans ./models_ckpt/ .

Construction d'un agent de changement

Installation des agents :

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

Exécuter l'agent :

cd dans le dossier Multi_change :

 cd . / Change - Agent / Multi_change

(1) Exécutez la démo de l'agent Cli :

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) Exécutez la démo Web de l'agent :

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

Citation

Si vous trouvez cet article utile dans votre recherche, pensez à citer :

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}