Agente de Mudança: Rumo à Interpretação e Análise Interativa e Abrangente de Mudanças por Sensoriamento Remoto

Chenyang Liu, Keyan Chen, Haotian Zhang, Zipeng Qi, Zhengxia Zou e Zhenwei Shi*✉

Compartilhe-nos se você estiver interessado neste repositório

Implementação oficial do PyTorch do artigo: " Agente de mudança: em direção à interpretação e análise interativa e abrangente de mudanças de sensoriamento remoto " em [IEEE] (aceito pelo IEEE TGRS 2024)

Notícias

2024-06: O código está disponível .
2024-03: O artigo está disponível .

Índice

Conjunto de dados LEVIR-MCI
Treinamento do modelo MCI
Construção do Agente de Mudança
Citação

Conjunto de dados LEVIR-MCI

Baixe o conjunto de dados LEVIR_MCI: LEVIR-MCI ( disponível agora! ).
Este conjunto de dados é uma extensão do nosso conjunto de dados LEVIR-CC previamente estabelecido. Ele contém imagens bitemporais, bem como diversas máscaras de detecção de alterações e frases descritivas. Ele fornece uma base de dados crucial para explorar o aprendizado multitarefa para detecção e legenda de alterações.

Treinamento do modelo de interpretação de mudança multinível

A visão geral do modelo MCI:

Preparação

Instalação Ambiental :

Passo 1 : Crie um ambiente virtual chamado Multi_change_env e ative-o.

 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env

Passo 2 : Baixe ou clone o repositório.

 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change

Etapa 3 : Instale dependências.

 pip install - r requirements . txt

Baixar conjunto de dados :

Link: LEVIR-MCI. A estrutura de dados do LEVIR-MCI está organizada da seguinte forma:

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

onde a pasta A contém imagens pré-fase, a pasta B contém imagens pós-fase e label da pasta contém as máscaras de detecção de alterações.

Extraia arquivos de texto para as descrições de cada par de imagens em LEVIR-MCI :
```
 python preprocess_data.py
```
Depois disso, você pode encontrar alguns arquivos gerados em ./data/LEVIR_MCI/ .

Trem

Certifique-se de realizar a preparação de dados acima. Então, comece o treinamento da seguinte forma:

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

Avaliar

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

Recomendamos treinar o modelo 5 vezes para obter uma pontuação média.

Inferência

Execute a inferência para começar da seguinte maneira:

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

Você pode modificar --checkpoint de Change_Perception.define_args() em predict.py . Então você pode usar seu próprio modelo, é claro, você também pode baixar nosso modelo pré-treinado MCI_model.pth aqui: [Hugging face]. Depois disso, coloque-o em ./models_ckpt/ .

Construção do Agente de Mudança

Instalação do agente :

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

Executar agente :

cd na pasta Multi_change :

 cd . / Change - Agent / Multi_change

(1) Execute a demonstração do agente Cli:

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) Execute a demonstração do agente Web:

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

Citação

Se você achar este artigo útil em sua pesquisa, considere citar:

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}