Агент перемен: к интерактивной комплексной интерпретации и анализу изменений с помощью дистанционного зондирования

Чэньян Лю, Кейян Чен, Хаотянь Чжан, Цзипэн Ци, Чжэнся Цзоу и Чжэньвэй Ши*✉

Поделитесь с нами, если вам интересно это репо

Официальная реализация PyTorch документа: « Агент изменений: к интерактивной комплексной интерпретации и анализу изменений дистанционного зондирования » в [IEEE] (принято IEEE TGRS 2024)

Новости

2024-06: Код доступен .
2024-03: Статья доступна .

Набор данных LEVIR-MCI

Загрузите набор данных LEVIR_MCI: LEVIR-MCI ( доступно сейчас! ).
Этот набор данных является расширением нашего ранее созданного набора данных LEVIR-CC. Он содержит двухвременные изображения, а также разнообразные маски обнаружения изменений и описательные предложения. Он обеспечивает важную базу данных для изучения многозадачного обучения для обнаружения изменений и подписей к изменениям.

Обучение модели интерпретации многоуровневых изменений

Обзор модели MCI:

Подготовка

Установка окружающей среды :
Шаг 1. Создайте виртуальную среду с именем Multi_change_env и активируйте ее.
```
 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env
```
Шаг 2 : Загрузите или клонируйте репозиторий.
```
 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change
```
Шаг 3 : Установите зависимости.
```
 pip install - r requirements . txt
```

Скачать набор данных :

Ссылка: ЛЕВИР-MCI. Структура данных LEVIR-MCI организована следующим образом:

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

где папка A содержит изображения до этапа, папка B содержит изображения после этапа, а label папки содержит маски обнаружения изменений.

Извлеките текстовые файлы с описаниями каждой пары изображений в LEVIR-MCI :
```
 python preprocess_data.py
```
После этого вы сможете найти некоторые сгенерированные файлы в ./data/LEVIR_MCI/ .

Тренироваться

Убедитесь, что вы выполнили подготовку данных выше. Затем приступайте к тренировкам следующим образом:

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

Оценивать

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

Мы рекомендуем обучить модель 5 раз, чтобы получить средний балл.

Вывод

Для начала запустите вывод следующим образом:

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

Вы можете изменить --checkpoint Change_Perception.define_args() в predict.py . Затем вы можете использовать свою собственную модель, конечно, вы также можете скачать нашу предварительно обученную модель MCI_model.pth здесь: [Обнимающее лицо]. После этого поместите его в ./models_ckpt/ .

Строительство агента изменений

Установка агента :

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

Запустить агент :

перейдите в папку Multi_change :

 cd . / Change - Agent / Multi_change

(1) Запустите демонстрационную версию агента Cli:

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) Запустите веб-демоверсию агента:

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

Цитирование

Если эта статья окажется полезной для вашего исследования, пожалуйста, процитируйте ее:

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}