Change Agentダウンロード - Change Agentソースコードのダウンロード

Change Agent

その他のソースコード

ダウンロード

Change-Agent: インタラクティブで包括的なリモートセンシングによる変化の解釈と分析に向けて

Chenyang Liu、Keyan Chen、Haotian Zhang、Zipeng Qi、Zhengxia Zou、Zhenwei Shi*✉

このリポジトリに興味がある場合は、共有してください

論文の公式 PyTorch 実装: [IEEE] の「 Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis 」 (IEEE TGRS 2024 に受理)

ニュース

2024-06: コードが利用可能になりました。
2024-03: 論文が入手可能になりました。

LEVIR-MCI データセット

LEVIR_MCI データセットをダウンロードします: LEVIR-MCI (今すぐ利用可能! )。
このデータセットは、以前に確立された LEVIR-CC データセットの拡張です。これには、バイテンポラル画像のほか、さまざまな変化検出マスクと説明文が含まれています。これは、変更の検出と変更のキャプション作成のためのマルチタスク学習を探索するための重要なデータ基盤を提供します。

マルチレベル変更解釈モデルのトレーニング

MCI モデルの概要:

準備

環境のインストール:

ステップ 1 : Multi_change_envという名前の仮想環境を作成し、アクティブ化します。

 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env

ステップ 2 : リポジトリをダウンロードまたは複製します。

 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change

ステップ 3 : 依存関係をインストールします。

 pip install - r requirements . txt

データセットをダウンロード:

リンク: LEVIR-MCI。 LEVIR-MCI のデータ構造は次のように構成されています。

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

ここで、フォルダーAにはプレフェーズイメージが含まれ、フォルダーBにはポストフェーズイメージが含まれ、フォルダーlabelは変更検出マスクが含まれます。

LEVIR-MCI の各画像ペアの説明のテキストファイルを抽出します。
```
 python preprocess_data.py
```
その後、生成されたファイルが./data/LEVIR_MCI/にいくつかあります。

電車

上記のデータ準備が完了していることを確認してください。次に、次のようにトレーニングを開始します。

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

評価する

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

平均スコアを取得するには、モデルを 5 回トレーニングすることをお勧めします。

推論

次のように推論を実行して開始します。

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

predict.pyのChange_Perception.define_args()の--checkpoint変更できます。その後、独自のモデルを使用することもできます。もちろん、事前トレーニング済みモデルMCI_model.pthここからダウンロードすることもできます: [抱き合う顔]。その後、 ./models_ckpt/に配置します。

チェンジエージェントの構築

エージェントのインストール:

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

エージェントを実行します:

Multi_changeフォルダーに cd します。

 cd . / Change - Agent / Multi_change

(1) Agent Cl デモを実行します。

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) エージェント Web デモを実行します。

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

引用

この論文があなたの研究に役立つと思われる場合は、以下を引用することを検討してください。

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}