MiniGPT 3Dダウンロード - MiniGPT 3Dソースコードのダウンロード

MiniGPT 3D

AI ソースコード

1.0.0

ダウンロード

MiniGPT-3D: 2D 事前分布を使用して 3D 点群と大規模言語モデルを効率的に位置合わせする

ユアン・タン・シュー・ハン・シアンジー・リー*チャオ・ユー・イーシュエ・ハオ・ロン・フー・ミン・チェン
華中科技大学華南理工大学

ACM MM 2024

?について

pic_1 pic_1

ニュース

[2024-08] ? MiniGPT-3D のトレーニングコードと推論コード、紙のモデルチェックポイント、および Gradio デモコードをリリースします。
[2024-08] ? 3D データを効率的に使用してポイント言語を理解する GreenPLM の探求をご覧ください。
[2024-07] ?当社の Mamba3D は ACM MM 2024 にも承認されました。 92.64%の適合率を達成しました。 ScanObjectNN 上のSoTA は線形複雑さのみで教師あり学習分類を行いました。それをチェックしてください！
[2024-07] ?当社の MiniGPT-3D が ACM MM 2024 に承認されました。
[2024-05] ? MiniGPT-3Dの論文を公開しました。

?コンテンツ

?概要
対話例
?トレーニングと評価
TODOリスト
?引用
?ライセンス
関連作品
?謝辞

?概要

モデル

pic_2

私たちは、2D 事前分布を使用して 3D ポイントを LLM と位置合わせする効率的で強力な 3D-LLM である MiniGPT-3D を紹介します。単一の RTX 3090 GPU で、わずか 26.8 時間で4,780 万の学習可能なパラメーターを使用してトレーニングされます。
私たちは、2D-LLM から知識を段階的に移行しながら、カスケード的な方法で効率的な 4 段階のトレーニング戦略を提案します。
わずか 0.4M のパラメーターを使用して、さまざまなエキスパートからの複数の機能を集約するクエリエキスパートの混合を設計します。
広範な実験により、トレーニング時間とパラメータをそれぞれ最大 6 分の 1 と最大 260 分の 1 に削減しながら、複数のタスクにおける MiniGPT-3D の優れたパフォーマンスが示されました。

注: MiniGPT-3D は効率的な 3D-LLM の第一歩を踏み出します。MiniGPT-3D がこのコミュニティに新しい洞察をもたらすことを願っています。

実験結果

ベースラインとの定量的比較[クローズソース LLM GPT-3.5 および GPT-4 を使用して評価] 。

pic_3

ベースラインとの定量的比較[オープンソース LLM Qwen2-72B-Instruct を使用して評価]

結果はGreenPLMから参照。

pic_3_2

ベースラインとの定性的比較。

pic_3

対話例

その他の対話例については、論文を参照してください。

pic_4

?トレーニングと評価

インストール

コードは次の環境でテストします。

RTX 3090 GPU (24G) 1 基
Ubuntu 18.04.5
NVIDIA ドライバー: 515.105.01
CUDA 11.7
Python 3.9.18
ピトーチ 2.0.0

開始するには:

このリポジトリのクローンを作成します。

git clone https://github.com/TangYuan96/MiniGPT-3D.git
cd MiniGPT-3D

パッケージをインストールする
デフォルトでは、conda がインストールされています。
```
conda env create -f environment.yml
conda activate minigpt_3d
bash env_install.sh
```

データの準備

すべてのデータファイルをダウンロードします。約 78GB のストレージ容量が必要です。
660K Objaverse 色の点群を整理します。次のコマンドを実行して 2 つのファイルを 1 つにマージし、圧縮を解除します。これにより、 {Objaverse_ID}_8192.npyという名前の 660K 点群ファイルを含む8192_npyという名前のフォルダーが作成されます。各ファイルは次元 (8192, 6) を持つ numpy 配列で、最初の 3 次元はxyzで、最後の 3 次元は [0, 1] 範囲のrgbです。
```
cat Objaverse_660K_8192_npy_split_a * > Objaverse_660K_8192_npy.tar.gz
tar -xvf Objaverse_660K_8192_npy.tar.gz
```
次に、 8192_npyフォルダー内のすべてのファイルを./data/objaverse_dataフォルダーに移動します。
注釈ファイルを整理します。すべての json ファイルと txt ファイルを./data/anno_dataフォルダーに移動します。
ModelNet40のテストデータファイルを整理します。 modelnet40_test_8192pts_fps.dat ./data/modelnet40_dataフォルダーに移動します。

最後に、全体的なデータディレクトリ構造は次のようになります。

 MiniGPT-3D/data
|-- anno_data
|   |-- PointLLM_brief_description_660K.json
|   |-- PointLLM_brief_description_660K_filtered.json
|   |-- PointLLM_brief_description_val_200_GT.json
|   |-- PointLLM_complex_instruction_70K.json
|   |-- object_ids_660K.txt
|   `-- val_object_ids_3000.txt
|-- modelnet40_data 
|   |-- modelnet40_test_8192pts_fps.dat
|-- objaverse_data
|   |-- 00000054c36d44a2a483bdbff31d8edf_8192.npy
|   |-- 00001ec0d78549e1b8c2083a06105c29_8192.npy
|   .......

ウェイトの準備

MiniGPT-3D がトレーニングと推論中に必要とするモデルの重みを整理します。

モデルの重みをダウンロードします。
params_weightフォルダーをMiniGPT-3Dプロジェクトフォルダーに移動します。

最後に、全体的なデータディレクトリ構造は次のようになります。

 MiniGPT-3D
|-- params_weight
|   |-- MiniGPT_3D_stage_3       # Our MiniGPT-3D stage III weight, needed to verify the results of paper
|   |-- MiniGPT_3D_stage_4       # Our MiniGPT-3D stage IV weight, Needed to verify the results of paper
|   |-- Phi_2                    # LLM weight 
|   |-- TinyGPT_V_stage_3        # 2D-LLM weights including  loRA & Norm of LLM and  projector 
|   |-- all-mpnet-base-v2        # Used in the caption traditional evaluation
|   |-- bert-base-uncased        # Used in initialize Q-former
|   |-- pc_encoder               # point cloud encoder
|   `-- sup-simcse-roberta-large # Used in the caption traditional evaluation
|-- train_configs
|   `-- MiniGPT_3D
|   .......

グラディオ会話デモ

次のコマンドを実行して、ローカルの gradio 会話デモを開始できます。
```
python UI_demo.py --cfg-path ./eval_configs/MiniGPT_3D_conv_UI_demo.yaml --gpu-id 0
```
次に、リンクhttp://127.0.0.1:7860/ブラウザにコピーします。サポートされている Objaverse オブジェクト ID (660K オブジェクト) を入力するか、1 つのオブジェクトファイル (.ply または .npy) をアップロードして、MiniGPT-3D と通信します。。

例: オブジェクト ID を入力します。 conv_demo_1

例: オブジェクトファイルをアップロードします。 conv_demo_2

電車

各ステージの出力パスを編集します

各ステージのデフォルトの出力パスを使用する場合は、次の手順を無視できます。

ステージ I の出力パスをここの 44 行目とここの 8 行目に設定します。
Stage II の出力パスを 51 行目と 7 行目に設定します。
Stage III の出力パスを 66 行目と 7 行目に設定します。
Stage IV の出力パスを 66 行目に設定します。

トレインステージI

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_1.yaml

トレインステージ II

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_2.yaml

トレインステージIII

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_3.yaml

トレインステージIV

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_4.yaml

評価

A. 評価構成でステージ III および IV の出力パスを設定する

論文の結果を確認したいだけの場合は、次の手順は無視してかまいません。

Stage III の出力パスを 8 行目に設定します。
Stage IV の出力パスを 9 行目に設定します。

B. 結果の json を出力する

公開語彙分類の結果をobjaverseに出力

 # Prompt 0: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test --task_type classification  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 0

 # Prompt 1: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test --task_type classification  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 1

クローズセットゼロショット分類結果をModelNet40に出力

 # Prompt 0:
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_modelnet_cls.py --out_path ./output/test  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 0

 # Prompt 1: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_modelnet_cls.py --out_path ./output/test  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 1

オブジェクトキャプションの結果をオブジェクトに出力します

 export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test  --task_type captioning  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 2

C. Json 結果を評価する

ａ． OpenAI のクローズソース LLM を使用して評価する[非推奨]

GreenPLM では、クローズソース LLM GPT-3.5 および GPT-4 には 2 つの大きな欠点があることに気付きました。それは、一貫性のない API バージョンと、高い評価コスト (1 回の評価あたり約 35 CNY または 5 USD)です。たとえば、PointLLM と MiniGPT-3D で使用されている GPT-3.5-turbo-0613 モデルは現在メンテナンスされていないため、結果を再現することが困難になっています。

以下の手順は、OpenAI API を使用した評価の手順です。もしかしたらうまくいかないかもしれません！ (クリックして拡大します)

objaverse で公開語彙分類を評価する

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt0.json  --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt1.json  --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15

ModelNet40 での近接集合ゼロショット分類を評価する

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/ModelNet_classification_prompt0.json  --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/ModelNet_classification_prompt1.json  --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15

オブジェクトのオブジェクトキャプションをオブジェクト上で評価します

 export PYTHONPATH= $PWD
export OPENAI_API_KEY=sk- ****
python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json --model_type gpt-4-0613 --eval_type object-captioning --parallel --num_workers 15

b.オープンソースのQwen2-72B-Instructで評価する【推奨】

GreenPLM では、 GPT-4 レベルのオープンソース Qwen2-72B-Instruct を使用した新しい 3D オブジェクト分類とキャプションベンチマークを提案し、評価の費用対効果を高め、結果を一貫して再現可能にします。

DASHSCOPE_API_KEY はaliyun から取得できます。評価には 9 CNY (~ 1.3 USD) が必要となる場合があります。
十分な GPU リソースがある場合は、Qwen2 に従って独自の Qwen2-72B-Instruct サービスを構築することもできます。その後、無料で結果を評価してください。

objaverse で公開語彙分類を評価する

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt0.json  
        --eval_type open-free-form-classification  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt1.json  
        --eval_type open-free-form-classification  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4

ModelNet40 での近接集合ゼロショット分類を評価する

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
    --results_path /path/to/evaluation/ModelNet_classification_prompt0.json  
    --eval_type modelnet-close-set-classification  
    --model_type qwen2-72b-instruct 
    --parallel --num_workers 4

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
    --results_path /path/to/evaluation/ModelNet_classification_prompt1.json  
    --eval_type modelnet-close-set-classification  
    --model_type qwen2-72b-instruct 
    --parallel --num_workers 4

オブジェクトのオブジェクトキャプションをオブジェクト上で評価します

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json  
        --eval_type object-captioning  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4

c.従来の指標の評価

オブジェクトキャプションタスクの場合は、次のコマンドを実行して、従来のメトリクス Sentence-BERT および SimCSE を使用してモデル出力を評価します。

CUDA_VISIBLE_DEVICES=0 python pointllm/eval/traditional_evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json

ウェイトを使用してローカル gradio デモを実行する

ここの 8 行目で Stage III の出力パスを設定します。
ここの 9 行目で Stage IV の出力パスを設定します。
次のコマンドを実行して、ローカルの gradio 会話デモを開始できます。
```
python UI_demo.py --cfg-path ./eval_configs/MiniGPT_3D_conv_UI_demo.yaml --gpu-id 0
```

TODOリスト

チェックポイントを使用して推論コードをリリースします。
トレーニングコードをリリースします。
評価コードを公開します。
Gradioのデモコードを公開します。
オンラインデモを追加します。

?引用

私たちの取り組みが役立つと思われる場合は、以下を引用することを検討してください。

 @article { tang2024minigpt ,
  title = { MiniGPT-3D: Efficiently Aligning 3D Point Clouds with Large Language Models using 2D Priors } ,
  author = { Tang, Yuan and Han, Xu and Li, Xianzhi and Yu, Qiao and Hao, Yixue and Hu, Long and Chen, Min } ,
  journal = { arXiv preprint arXiv:2405.01413 } ,
  year = { 2024 }
}