法學碩士點

PointLLM：使大型語言模型能夠理解點雲

潤森 徐小龍 王泰 王以倫 陳江苗 龐* 林大華
香港中文大學上海人工智慧實驗室浙江大學

？關於

我們引進了PointLLM，一種能夠理解物體的彩色點雲的多模態大語言模型。它感知物件類型、幾何結構和外觀，而無需考慮模糊的深度、遮蔽或視點依賴性。我們收集了一個新穎的資料集，其中包含 660K 簡單和 70K 複雜點文字指令對，以實現兩階段訓練策略。為了嚴格評估我們模型的感知能力及其泛化能力，我們建立了兩個基準：產生 3D 物件分類和 3D 物件描述，透過三種不同的評估方法進行評估。

訊息

• [2024-09-06] 我們上傳了適用於 ECCV 2024 的 PointLLM 的相機就緒版本，其中包括更清晰的文字和額外的實驗結果。請檢查這裡的論文。
• [2024-07-01] PointLLM已被ECCV 2024接受，全部為「強接受」推薦。 ？我們正在尋找有上進心的學生來進行有關 PointLLM 的研究。如果您有興趣，請將您的履歷發送至[email protected]！
• [2023-12-29] 我們發布了線上 Gradio 演示的程式碼。
• [2023-12-26] 我們發布了模型評估的代碼，包括ChatGPT/GPT-4評估和傳統指標評估。
• [2023-12-08] 我們發布了訓練程式碼和PointLLM-v1.2。線上演示也已升級至v1.2版本。請欣賞！ ？
• [2023-12-01] 我們發布了論文的更新版本 (v2)，其中包括額外的基線比較、增強的人類評估指標、改進的模型性能 (PointLLM-v1.2) 和其他改進。請在此處檢查更新的版本。
• [2023-10-18] 我們發布了指令跟隨數據，包括簡單描述和複雜指令。在這裡下載。
• [2023-09-26] 我們發布了帶有檢查點的推理代碼以及我們使用的 Objaverse 彩色點雲檔案。您可以使用自己的機器與 PointLLM 聊天。
• [2023-08-31] 我們發布了PointLLM的論文和線上gradio簡報。試試吧！ ？

？內容

• ？線上示範
• 對話範例
• ？概述
• ？培訓與評估
• 待辦事項清單
• ？引文
• ？執照
• 相關工作
• ？致謝

？線上示範

點LLM上線了！請在 http://101.230.144.196 或 OpenXLab/PointLLM 嘗試。

您可以與 PointLLM 討論 Objaverse 資料集的模型或您自己的點雲！

如果您有任何反饋，請隨時告訴我們！ ？

對話範例

對話1	對話2	對話3	對話4

？概述

模型

點編碼器從輸入點雲中提取特徵並將其投影到 LLM 主幹的潛在空間。 LLM 主幹處理點標記和文字標記序列，並產生預測標記作為輸出。

實驗結果

與基線的定量比較。

請參閱我們的論文以了解更多結果。

注意：BLEU-1、ROUGE-L 和 METEOR 等傳統指標傾向於較短的反應，並且可能無法有效捕捉語義準確性。有關此問題的詳細討論，請參閱我們的論文。我們建議社區不要只依賴這些指標來評估。

與基線的定性比較。

請參閱我們的論文以了解更多結果。

？培訓與評估

安裝

我們在以下環境下測試我們的程式碼：

• 烏班圖20.04
• NVIDIA 驅動程式：515.65.01
• CUDA 11.7
• Python 3.10.13
• 火炬2.0.1
• 變形金剛 4.28.0.dev(transformers.git@cae78c46)

開始：

1. 克隆這個儲存庫。

git clone [email protected]:OpenRobotLab/PointLLM.git
cd PointLLM

2. 安裝包

conda create -n pointllm python=3.10 -y
conda activate pointllm
pip install --upgrade pip  # enable PEP 660 support
pip install -e .

# * for training
pip install ninja
pip install flash-attn

資料準備

Objaverse 訓練數據

1. 在此下載 660K Objaverse 彩色點雲的兩個壓縮檔。它們需要大約 77GB 的儲存空間。
2. 運行以下命令將兩個檔案合併為一個並解壓縮。這將產生一個名為8192_npy的資料夾，其中包含名為{Objaverse_ID}_8192.npy 660K 點雲檔案。每個檔案都是一個維度為 (8192, 6) 的 numpy 數組，其中前三個維度是xyz ，後三個維度是 [0, 1] 範圍內的rgb 。

cat Objaverse_660K_8192_npy_split_a * > Objaverse_660K_8192_npy.tar.gz
tar -xvf Objaverse_660K_8192_npy.tar.gz

3. 在PointLLM資料夾中，建立一個資料夾data ，並在該目錄下建立一個指向未壓縮檔案的軟連結。

 cd PointLLM
mkdir data
ln -s /path/to/8192_npy data/objaverse_data

指令跟隨數據

1. 在PointLLM/data資料夾中，建立一個名為anno_data的目錄。
2. 我們的指令遵循數據，包括簡單描述和複雜指令，可以在此處下載。如果您在下載資料時遇到困難（例如網路問題），請傳送電子郵件給作者。

• 簡單描述資料有 660K 樣本，複雜指令有 70K 樣本。
• 兩個訓練資料均基於 Objaverse 資料集。
• 複雜的指令是用 GPT-4 產生的。

3. 將資料檔放在anno_data目錄中。該目錄應如下所示：

PointLLM/data/anno_data
├── PointLLM_brief_description_660K_filtered.json
├── PointLLM_brief_description_660K.json
└── PointLLM_complex_instruction_70K.json

4. 請注意， PointLLM_brief_description_660K_filtered.json是透過刪除我們保留作為驗證集的 3000 個物件從PointLLM_brief_description_660K.json中過濾出來的。如果您想重現我們論文中的結果，您應該使用PointLLM_brief_description_660K_filtered.json進行訓練。 PointLLM_complex_instruction_70K.json包含訓練集中的物件。
5. 如果您想自己產生複雜的指令，請參閱我們的論文以了解其他詳細資訊。系統提示字元位於pointllm/data/data_generation/system_prompt_gpt4_0613.txt 。

評估數據

1. 下載我們用於 Objaverse 資料集基準測試的參考 GT PointLLM_brief_description_val_200_GT.json ，並將其放入PointLLM/data/anno_data 。我們還提供了我們在訓練期間過濾的 3000 個物件 ID 以及它們相應的引用 GT，可用於對所有 3000 個物件進行評估。
2. 在PointLLM/data中建立名為modelnet40_data的目錄。在此下載 ModelNet40 點雲modelnet40_test_8192pts_fps.dat的測試分割並將其放入PointLLM/data/modelnet40_data中。

訓練

下載初始 LLM 和點編碼器權重

1. 在PointLLM資料夾中，建立一個名為checkpoints的目錄。
2. 下載預先訓練的 LLM 和點編碼器：PointLLM_7B_v1.1_init 或 PointLLM_13B_v1.1_init。將它們放在checkpoints目錄中。
3. 請注意，上面的「v1.1」表示我們使用Vicuna-v1.1檢查點，您不需要再次下載原始的LLaMA權重。

開始訓練

1. 第一階段訓練，只需運行：

 cd PointLLM
scripts/PointLLM_train_stage1.sh

2. 第一階段訓練結束後，開始第二階段訓練：

scripts/PointLLM_train_stage2.sh

PointLLM-v1.1 和 PointLLM-v1.2

通常情況下，您不必關心以下內容。它們僅用於重現我們 v1 論文 (PointLLM-v1.1) 中的結果。如果您想與我們的模型進行比較或使用我們的模型進行下游任務，請使用PointLLM-v1.2（參考我們的v2論文），它具有更好的效能。

以下步驟用於複製 PointLLM-v1.1（點擊展開）

1. PointLLM v1.1 和 v1.2 使用略有不同的預訓練點編碼器和投影機。如果要重現PointLLM v1.1，請編輯初始LLM和點編碼器權重目錄中的config.json文件，例如vim checkpoints/PointLLM_7B_v1.1_init/config.json 。

2. 更改鍵"point_backbone_config_name"以指定另一個點編碼器配置：

    # change from
   " point_backbone_config_name " : " PointTransformer_8192point_2layer " # v1.2
   # to
   " point_backbone_config_name " : " PointTransformer_base_8192point " , # v1.1

3. 在scripts/train_stage1.sh中編輯點編碼器的檢查點路徑：

    # change from
   point_backbone_ckpt= $model_name_or_path /point_bert_v1.2.pt # v1.2
   # to
   point_backbone_ckpt= $model_name_or_path /point_bert_v1.1.pt # v1.1

聊天

1. 訓練好的模型檢查點可在此處取得（包括不同版本的 PointLLM）。
2. 執行以下命令以使用torch.float32資料類型啟動聊天機器人，以討論 Objaverse 的 3D 模型。模型檢查點將自動下載。您也可以手動下載模型檢查點並指定其路徑。這是一個例子：

 cd PointLLM
PYTHONPATH= $PWD python pointllm/eval/PointLLM_chat.py --model_name RunsenXu/PointLLM_7B_v1.2 --data_name data/objaverse_data --torch_dtype float32

3. 您也可以輕鬆修改使用 Objaverse 以外的點雲的程式碼，只要輸入模型的點雲具有維度 (N, 6)，其中前三個維度為xyz ，後三個維度為rgb (在[0, 1] 範圍內）。您可以對點雲進行採樣以獲得 8192 個點，因為我們的模型是在此類點雲上進行訓練的。

4. 下表顯示了不同模型和資料類型的 GPU 要求。如果適用，我們建議使用torch.bfloat16 ，它在我們論文的實驗中使用。

   模型	資料類型	顯存
   點LLM-7B	火炬.float16	14GB
   點LLM-7B	火炬.float32	28GB
   PointLLM-13B	火炬.float16	26GB
   PointLLM-13B	火炬.float32	52GB

混音器演示

1. 我們提供線上 Gradio 演示的程式碼。您可以執行以下命令在本地啟動演示以進行聊天和視覺化。

 cd PointLLM
PYTHONPATH= $PWD python pointllm/eval/chat_gradio.py --model_name RunsenXu/PointLLM_7B_v1.2 --data_name data/objaverse_data

2. 小提醒：如果您想公開發布演示，請參閱 https://www.gradio.app/guides/sharing-your-app#security-and-file-access。

評估

推理

1. 執行以下命令來推斷結果。
2. 用於在不同基準上進行推理的不同指令（以 PointLLM_7B_v1.2 為例）：

 cd PointLLM
export PYTHONPATH= $PWD

# Open Vocabulary Classification on Objaverse
python pointllm/eval/eval_objaverse.py --model_name RunsenXu/PointLLM_7B_v1.2 --task_type classification --prompt_index 0 # or --prompt_index 1

# Object captioning on Objaverse
python pointllm/eval/eval_objaverse.py --model_name RunsenXu/PointLLM_7B_v1.2 --task_type captioning --prompt_index 2

# Close-set Zero-shot Classification on ModelNet40
python pointllm/eval/eval_modelnet_cls.py --model_name RunsenXu/PointLLM_7B_v1.2 --prompt_index 0 # or --prompt_index 1

3. 請檢查這兩個腳本的預設命令列參數。您可以指定不同的提示、資料路徑和其他參數。
4. 推理後，結果將作為字典保存在{model_name}/evaluation中，格式如下：

{
  " prompt " : " " ,
  " results " : [
    {
      " object_id " : " " ,
      " ground_truth " : " " , 
      " model_output " : " " ,
      " label_name " : " " # only for classification on modelnet40
    }
  ]
}

ChatGPT/GPT-4 評估

1. 在 https://platform.openai.com/api-keys 取得您的 OpenAI API 金鑰。
2. 執行以下命令與 ChatGPT/GPT-4 並行評估模型輸出（成本約為 1.5 至 2.2 美元）。

 cd PointLLM
export PYTHONPATH= $PWD
export OPENAI_API_KEY=sk- ****

# Open Vocabulary Classification on Objaverse
python pointllm/eval/evaluator.py --results_path /path/to/model_output --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15

# Object captioning on Objaverse
python pointllm/eval/evaluator.py --results_path /path/to/model_output --model_type gpt-4-0613 --eval_type object-captioning --parallel --num_workers 15

# Close-set Zero-shot Classification on ModelNet40
python pointllm/eval/evaluator.py --results_path /path/to/model_output --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15

3. 評估腳本支援中斷和恢復。您可以隨時使用Ctrl+C中斷評估過程。這將保存臨時結果。如果評估過程中發生錯誤，腳本也會儲存目前狀態。您可以透過再次執行相同的命令從中斷處恢復評估。
4. 評估結果將作為另一個字典保存在{model_name}/evaluation中。部分指標解釋如下：

 " average_score " : The GPT-evaluated captioning score we report in our paper.
" accuracy " : The classification accuracy we report in our paper, including random choices made by ChatGPT when model outputs are vague or ambiguous and ChatGPT outputs " INVALID " .
" clean_accuracy " : The classification accuracy after removing those " INVALID " outputs.
" total_predictions " : The number of predictions.
" correct_predictions " : The number of correct predictions.
" invalid_responses " : The number of " INVALID " outputs by ChatGPT.

# Some other statistics for calling OpenAI API
" prompt_tokens " : The total number of tokens of the prompts for ChatGPT/GPT-4.
" completion_tokens " : The total number of tokens of the completion results from ChatGPT/GPT-4.
" GPT_cost " : The API cost of the whole evaluation process, in US Dollars ?.

5. 開放式評估。您也可以透過傳遞--start_eval標誌並指定--gpt_type來在推理後立即開始評估。例如：

python pointllm/eval/eval_objaverse.py --model_name RunsenXu/PointLLM_7B_v1.2 --task_type classification --prompt_index 0 --start_eval --gpt_type gpt-4-0613

傳統指標評估

1. 對於物件字幕任務，執行以下命令以使用傳統指標（包括 BLEU、ROUGE、METEOR、Sentence-BERT 和 SimCSE）評估模型輸出。

python pointllm/eval/traditional_evaluator.py --results_path /path/to/model_captioning_output

2. 請注意，我們建議不要使用 BLEU、ROUGE 和 METEOR 進行評估，因為它們偏向於短標題並且無法捕獲語義準確性和多樣性。

待辦事項清單

• 新增帶有檢查點的推理程式碼。
• 釋放指令跟隨資料。
• 新增訓練代碼。
• 新增評估代碼。
• 新增漸層演示程式碼。
• 發布PointLLM-V2，有更好的模型和數據。

歡迎社區貢獻！如果您需要任何支持，請隨時提出問題或與我們聯絡。

• 支持 Phi-2 LLM，使 PointLLM 更容易為社區所接受。
• 支持像InternLM這樣的中國法學碩士。

？引文

如果您發現我們的工作和此程式碼庫有幫助，請考慮為該儲存庫加註星標？並引用：

 @inproceedings { xu2024pointllm ,
  title = { PointLLM: Empowering Large Language Models to Understand Point Clouds } ,
  author = { Xu, Runsen and Wang, Xiaolong and Wang, Tai and Chen, Yilun and Pang, Jiangmiao and Lin, Dahua } ,
  booktitle = { ECCV } ,
  year = { 2024 }
}

？執照

本作品採用知識共享署名-非商業性-相同方式分享 4.0 國際授權。

相關工作

讓我們一起讓 3D 法學碩士變得更偉大！

• Point-Bind & Point-LLM：將點雲與 Image-Bind 對齊，並利用 ImageBind-LLM 推理多模態輸入，無需 3D 指令資料訓練。
• 3D-LLM：採用2D基礎模型對3D點雲的多視圖影像進行編碼。

？致謝

• LLaVA：我們的程式碼庫是基於 LLaVA 建置。
• Vicuna：我們使用 Vicuna-7B 和 Vicuna-13B 檢查點。
• Objaverse：我們使用 Objaverse 資料集的模型進行訓練和評估。
• Cap3D：我們使用 Cap3D 字幕資料來產生資料。
• ULIP-2：我們使用 ULIP-2 來預先訓練我們的點雲編碼器。