Change-Agent：迈向交互式综合遥感变化解释与分析

刘晨阳、陈克彦、张浩田、齐鹏飞、邹正霞、史振伟*✉

如果您对此存储库感兴趣，请与我们分享

论文的官方 PyTorch 实现：《 Change-Agent: Toward Interactive Innovative Remote Sensing Change Interpretation and Analysis 》 in [IEEE] (Accepted by IEEE TGRS 2024)

消息

2024-06：代码可用。
2024-03：论文可用。

LEVIR-MCI 数据集

下载 LEVIR_MCI 数据集：LEVIR-MCI（现已推出！ ）。
该数据集是我们之前建立的 LEVIR-CC 数据集的扩展。它包含双时态图像以及各种变化检测掩模和描述性句子。它为探索变化检测和变化字幕的多任务学习提供了重要的数据基础。

多层次变化解释模型的训练

MCI模型概述：

准备

环境安装：

步骤1 ：创建一个名为Multi_change_env的虚拟环境并激活它。

 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env

第 2 步：下载或克隆存储库。

 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change

步骤 3 ：安装依赖项。

 pip install - r requirements . txt

下载数据集：

链接：LEVIR-MCI。 LEVIR-MCI的数据结构组织如下：

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

其中文件夹A包含前期图像，文件夹B包含后期图像，文件夹label包含更改检测蒙版。

提取 LEVIR-MCI 中每个图像对的描述的文本文件：
```
 python preprocess_data.py
```
之后，您可以在./data/LEVIR_MCI/中找到一些生成的文件。

火车

确保您执行了上述数据准备。然后，开始训练如下：

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

评价

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

我们建议训练模型 5 次以获得平均分数。

推理

运行推理开始如下：

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

您可以在predict.py中修改Change_Perception.define_args()的--checkpoint 。然后你可以使用你自己的模型，当然，你也可以在这里下载我们的预训练模型MCI_model.pth ：[拥抱脸]。之后，将其放入./models_ckpt/中。

变革推动者的构建

代理安装：

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

运行代理：

cd 进入Multi_change文件夹：

 cd . / Change - Agent / Multi_change

(1) 运行Agent CLI演示：

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) 运行代理网页演示：

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

引文

如果您发现本文对您的研究有用，请考虑引用：

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}