首頁>編程相關>Ai源碼
下載

MiniGPT-3D：使用 2D 先驗有效地將 3D 點雲與大型語言模型對齊

元唐徐韓賢之李*喬宇醫學豪龍胡敏陳
華中科技大學 華南理工大學

ACM MM 2024

？關於

圖片_1圖片_1

訊息

  • [2024年08期]？我們發布了 MiniGPT-3D 的訓練和推理程式碼、論文模型檢查點以及漸層演示程式碼。
  • [2024年08期]？查看我們對 3D 資料高效點語言理解 GreenPLM 的探索。
  • [2024年7月]？我們的Mamba3D也被ACM MM 2024接受了！我們的準確率達到 92.64%。 ScanObjectNN 監督學習分類上的SoTA僅具有線性複雜度！一探究竟！
  • [2024年7月]？我們的MiniGPT-3D被ACM MM 2024接受！
  • [2024年05期]？我們發布了MiniGPT-3D的論文。

？內容

  • ？概述
  • 對話範例
  • ？培訓與評估
  • 待辦事項列表
  • ？引文
  • ？執照
  • 相關工作
  • ？致謝

？概述

模型

圖片_2

  • 我們推出了 MiniGPT-3D，這是一種高效且強大的 3D-LLM，它使用 2D 先驗將 3D 點與 LLM 對齊。它在單一 RTX 3090 GPU 上僅用 26.8 小時就完成了4780 萬個可學習參數的訓練。
  • 我們以級聯方式提出了一種有效的四階段訓練策略，逐步轉移來自 2D-LLM 的知識。
  • 我們設計了查詢專家的混合，以僅用 0.4M 參數聚合來自不同專家的多個特徵。
  • 大量實驗表明，MiniGPT-3D 在多個任務上具有卓越的性能，同時將訓練時間和參數分別減少了高達 6 倍和 260 倍。

註： MiniGPT-3D邁出了高效能3D-LLM的第一步，我們希望MiniGPT-3D能為這個社群帶來新的洞見。

實驗結果

與基線的定量比較[使用閉源LLM GPT-3.5和GPT-4進行評估] 。

圖片_3

與基準的定量比較【使用開源LLM Qwen2-72B-Instruct來評估】

結果參考GreenPLM。

圖_3_2

與基線的定性比較。

圖片_3

對話範例

請參閱我們的論文以獲取更多對話範例。

圖_4

？培訓與評估

安裝

我們在以下環境下測試我們的程式碼：

  • 1 個 RTX 3090 GPU (24G)
  • 烏班圖 18.04.5
  • NVIDIA 驅動程式：515.105.01
  • CUDA 11.7
  • Python 3.9.18
  • 火炬2.0.0

開始：

  1. 克隆此存儲庫。 

    git clone https://github.com/TangYuan96/MiniGPT-3D.git
cd MiniGPT-3D

  2. 安裝包

    預設情況下，您已經安裝了 conda。 

    conda env create -f environment.yml
conda activate minigpt_3d
bash env_install.sh

資料準備

  1. 下載所有資料檔。它們需要大約 78GB 的​​儲存空間。
  2. 組織 660K Objaverse 彩色點雲。運行以下命令將兩個檔案合併為一個並解壓縮。這將產生一個名為8192_npy的資料夾，其中包含名為{Objaverse_ID}_8192.npy 660K 點雲檔案。每個檔案都是一個維度為 (8192, 6) 的 numpy 數組，其中前三個維度是xyz ，後三個維度是 [0, 1] 範圍內的rgb 。 
    cat Objaverse_660K_8192_npy_split_a * > Objaverse_660K_8192_npy.tar.gz
tar -xvf Objaverse_660K_8192_npy.tar.gz
    然後，將8192_npy資料夾中的所有檔案移到./data/objaverse_data資料夾中。
  3. 組織註釋文件。將所有 json 檔案和 txt 檔案移到./data/anno_data資料夾。
  4. 整理ModelNet40的測試資料檔。將modelnet40_test_8192pts_fps.dat移到./data/modelnet40_data資料夾。

最後，整體資料目錄結構應該是： 

 MiniGPT-3D/data
|-- anno_data
|   |-- PointLLM_brief_description_660K.json
|   |-- PointLLM_brief_description_660K_filtered.json
|   |-- PointLLM_brief_description_val_200_GT.json
|   |-- PointLLM_complex_instruction_70K.json
|   |-- object_ids_660K.txt
|   `-- val_object_ids_3000.txt
|-- modelnet40_data 
|   |-- modelnet40_test_8192pts_fps.dat
|-- objaverse_data
|   |-- 00000054c36d44a2a483bdbff31d8edf_8192.npy
|   |-- 00001ec0d78549e1b8c2083a06105c29_8192.npy
|   .......

重量準備

我們整理了MiniGPT-3D在訓練和推理過程中所需的模型權重。

  1. 下載模型權重。
  2. 將params_weight資料夾移到MiniGPT-3D專案資料夾。

最後，整體資料目錄結構應該是： 

 MiniGPT-3D
|-- params_weight
|   |-- MiniGPT_3D_stage_3       # Our MiniGPT-3D stage III weight, needed to verify the results of paper
|   |-- MiniGPT_3D_stage_4       # Our MiniGPT-3D stage IV weight, Needed to verify the results of paper
|   |-- Phi_2                    # LLM weight 
|   |-- TinyGPT_V_stage_3        # 2D-LLM weights including  loRA & Norm of LLM and  projector 
|   |-- all-mpnet-base-v2        # Used in the caption traditional evaluation
|   |-- bert-base-uncased        # Used in initialize Q-former
|   |-- pc_encoder               # point cloud encoder
|   `-- sup-simcse-roberta-large # Used in the caption traditional evaluation
|-- train_configs
|   `-- MiniGPT_3D
|   .......

廣播對話示範

  1. 您可以執行以下命令來啟動本機 gradio 對話示範： 

    python UI_demo.py --cfg-path ./eval_configs/MiniGPT_3D_conv_UI_demo.yaml --gpu-id 0

  2. 然後，將連結http://127.0.0.1:7860/複製到您的瀏覽器，您可以輸入支援的Objaverse物件ID（660K物件）或上傳物件檔案（.ply或.npy）與我們的MiniGPT- 3D對話。

範例：輸入物件 ID： 轉換_演示_1

範例：上傳目標檔案： 轉換_演示_2

火車

編輯各個Stage的輸出路徑

如果您想使用各個Stage的預設輸出路徑，則可以忽略以下步驟。

  1. 將階段 I 的輸出路徑設定為第 44 行此處和第 8 行此處。
  2. 將 Stage II 的輸出路徑設定為第 51 行和第 7 行。
  3. 將 Stage III 的輸出路徑設定為第 66 行和第 7 行。
  4. 將 Stage IV 的輸出路徑設定為第 66 行。

列車第一階段

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_1.yaml

列車第二階段

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_2.yaml

列車第三階段

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_3.yaml

列車第四階段

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_4.yaml

評估

A. 在評估配置中設定 Stage III & IV 的輸出路徑

如果你只是想驗證我們論文的結果，可以忽略以下步驟：

  1. 將 Stage III 的輸出路徑設定為第 8 行。

  2. 將 Stage IV 的輸出路徑設定為第 9 行。

B.輸出結果jsons

  1. 在objverse上輸出開放詞彙分類的結果

     # Prompt 0: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test --task_type classification  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 0 
     # Prompt 1: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test --task_type classification  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 1

  2. 在ModelNet40上輸出近集零樣本分類的結果

     # Prompt 0:
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_modelnet_cls.py --out_path ./output/test  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 0
     # Prompt 1: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_modelnet_cls.py --out_path ./output/test  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 1

  3. 在objaverse上輸出物件字幕的結果

     export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test  --task_type captioning  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 2

C. 評估 Json 結果

一個。使用 OpenAI 的閉源 LLM 進行評估[不建議]

在GreenPLM中，我們注意到閉源LLM GPT-3.5和GPT-4有兩個主要缺點： API版本不一致和評估成本較高（每次評估約35元人民幣或5美元） 。例如，PointLLM 中使用的 GPT-3.5-turbo-0613 模型和我們的 MiniGPT-3D不再維護，因此很難複製結果。

以下步驟用於使用 OpenAI API 進行評估。也許它不起作用！ （點擊展開）
  1. 評估 objaverse 上的開放詞彙分類
   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt0.json  --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15
   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt1.json  --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15
  1. 評估 ModelNet40 上的近集零樣本分類
   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/ModelNet_classification_prompt0.json  --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15
   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/ModelNet_classification_prompt1.json  --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15
  1. 評估 objaverse 上的物件字幕
 export PYTHONPATH= $PWD
export OPENAI_API_KEY=sk- ****
python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json --model_type gpt-4-0613 --eval_type object-captioning --parallel --num_workers 15
b.使用開源Qwen2-72B-Instruct進行評估[推薦]

在 GreenPLM 中，我們使用GPT-4 級開源 Qwen2-72B-Instruct 提出新的 3D 物件分類和標題基準，以使評估具有成本效益且結果始終可重複。

  • 您可以從阿里雲取得DASHSCOPE_API_KEY 。評估可能需要 9 元人民幣（約 1.3 美元）。
  • 如果你有足夠的GPU資源，你也可以依照Qwen2.1的基礎，建立自己的Qwen2-72B-Instruct服務。然後免費評估結果！
  1. 評估 objaverse 上的開放詞彙分類
 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt0.json  
        --eval_type open-free-form-classification  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4
 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt1.json  
        --eval_type open-free-form-classification  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4
  1. 評估 ModelNet40 上的近集零樣本分類
 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
    --results_path /path/to/evaluation/ModelNet_classification_prompt0.json  
    --eval_type modelnet-close-set-classification  
    --model_type qwen2-72b-instruct 
    --parallel --num_workers 4
 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
    --results_path /path/to/evaluation/ModelNet_classification_prompt1.json  
    --eval_type modelnet-close-set-classification  
    --model_type qwen2-72b-instruct 
    --parallel --num_workers 4
  1. 評估 objaverse 上的物件字幕
 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json  
        --eval_type object-captioning  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4
c.傳統指標評估

對於物件字幕任務，執行以下命令以使用傳統指標 Sentence-BERT 和 SimCSE 評估模型輸出。 

CUDA_VISIBLE_DEVICES=0 python pointllm/eval/traditional_evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json

使用您的權重運行本地漸變演示

  1. 在第 8 行設定 Stage III 的輸出路徑。

  2. 在第 9 行設定 Stage IV 的輸出路徑。

  3. 您可以執行以下命令來啟動本機 gradio 對話示範： 

    python UI_demo.py --cfg-path ./eval_configs/MiniGPT_3D_conv_UI_demo.yaml --gpu-id 0

待辦事項列表

  • 發布帶有檢查點的推理程式碼。
  • 發布培訓代碼。
  • 發布評估代碼。
  • 發布 gradio 演示程式碼。
  • 新增線上演示。

？引文

如果您發現我們的工作有幫助，請考慮引用： 

 @article { tang2024minigpt ,
  title = { MiniGPT-3D: Efficiently Aligning 3D Point Clouds with Large Language Models using 2D Priors } ,
  author = { Tang, Yuan and Han, Xu and Li, Xianzhi and Yu, Qiao and Hao, Yixue and Hu, Long and Chen, Min } ,
  journal = { arXiv preprint arXiv:2405.01413 } ,
  year = { 2024 }
}

？執照


本作品採用知識共享署名-非商業性-相同方式分享 4.0 國際授權。

相關工作

讓我們一起讓 3D 法學碩士變得更偉大！

  • Point-Bind 和 Point-LLM：將點雲與 Image-Bind 對齊，以推理多模態輸入，無需 3D 指令資料訓練。
  • 3D-LLM：採用2D基礎模型對3D點雲的多視圖影像進行編碼。
  • PointLLM：將 3D 點雲與 LLaVA 結合使用。
  • ShapeLLM：將強大的點雲編碼器與用於特定場景的 LLM 結合。
  • GreenPLM：擴展文字空間以減少對 3D 文字資料對的需求，或僅需要文字資料。

？致謝

我們要感謝 PointLLM、TinyGPT-V、MiniGPT-4 和 Octavius 的作者的出色作品和程式碼庫。

展開
附加信息
相關應用
爲您推薦
相關資訊 全部