Agen Perubahan: Menuju Interpretasi dan Analisis Perubahan Penginderaan Jauh Komprehensif Interaktif

Chenyang Liu, Keyan Chen, Haotian Zhang, Zipeng Qi, Zhengxia Zou, dan Zhenwei Shi*✉

Bagikan kepada kami jika Anda tertarik dengan repo ini

Implementasi resmi makalah PyTorch: " Agen Perubahan: Menuju Interpretasi dan Analisis Perubahan Penginderaan Jauh Komprehensif Interaktif " di [IEEE] (Diterima oleh IEEE TGRS 2024)

Berita

2024-06: Kode tersedia .
2024-03: Makalah tersedia .

Daftar isi

Kumpulan data LEVIR-MCI
Pelatihan model MCI
Pembangunan Agen Perubahan
Kutipan

Kumpulan data LEVIR-MCI

Unduh kumpulan data LEVIR_MCI: LEVIR-MCI ( Tersedia Sekarang! ).
Kumpulan data ini merupakan perpanjangan dari kumpulan data LEVIR-CC yang kami buat sebelumnya. Ini berisi gambar bi-temporal serta beragam topeng deteksi perubahan dan kalimat deskriptif. Ini memberikan landasan data penting untuk mengeksplorasi pembelajaran multi-tugas untuk deteksi perubahan dan perubahan teks.

Pelatihan model interpretasi perubahan multi level

Ikhtisar model MCI:

Persiapan

Instalasi Lingkungan :

Langkah 1 : Buat lingkungan virtual bernama Multi_change_env dan aktifkan.

 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env

Langkah 2 : Unduh atau kloning repositori.

 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change

Langkah 3 : Instal dependensi.

 pip install - r requirements . txt

Unduh Kumpulan Data :

Tautan: LEVIR-MCI. Struktur data LEVIR-MCI disusun sebagai berikut:

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

dimana folder A berisi gambar pra-fase, folder B berisi gambar pasca-fase, dan label folder berisi masker deteksi perubahan.

Ekstrak file teks untuk deskripsi setiap pasangan gambar di LEVIR-MCI :
```
 python preprocess_data.py
```
Setelah itu, Anda dapat menemukan beberapa file yang dihasilkan di ./data/LEVIR_MCI/ .

Kereta

Pastikan Anda melakukan persiapan data di atas. Kemudian, mulailah pelatihan sebagai berikut:

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

Mengevaluasi

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

Kami merekomendasikan pelatihan model sebanyak 5 kali untuk mendapatkan skor rata-rata.

Kesimpulan

Jalankan inferensi untuk memulai sebagai berikut:

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

Anda dapat memodifikasi --checkpoint dari Change_Perception.define_args() predict.py . Kemudian Anda dapat menggunakan model Anda sendiri, tentunya Anda juga dapat mengunduh model MCI_model.pth kami yang telah dilatih sebelumnya di sini: [Memeluk wajah]. Setelah itu masukkan ke dalam ./models_ckpt/ .

Pembangunan Agen Perubahan

Instalasi Agen :

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

Jalankan Agen :

cd ke dalam folder Multi_change :

 cd . / Change - Agent / Multi_change

(1) Jalankan Demo Agen Cli:

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) Jalankan Demo Web Agen:

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

Kutipan

Jika Anda merasa makalah ini bermanfaat dalam penelitian Anda, mohon pertimbangkan untuk mengutip:

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}