Beranda>Terkait pemrograman>Kode Sumber AI
Unduh

MiniGPT-3D: Menyelaraskan Awan Titik 3D secara Efisien dengan Model Bahasa Besar menggunakan Priors 2D

Yuan Tang Xu Han Xianzhi Li* Qiao Yu Yixue Hao Long Hu Min Chen
Universitas Sains dan Teknologi Huazhong Universitas Teknologi Cina Selatan

ACM MM 2024

? Tentang

gambar_1gambar_1

Berita

  • [2024-08] ? Kami merilis kode pelatihan dan inferensi, pos pemeriksaan model kertas, dan kode demo gradio untuk MiniGPT-3D.
  • [2024-08] ? Lihat eksplorasi kami tentang pemahaman bahasa titik GreenPLM yang hemat data 3D.
  • [2024-07] ? Mamba3D kami juga diterima oleh ACM MM 2024! Kami mencapai 92,64% Acc. SoTA pada klasifikasi pembelajaran yang diawasi ScanObjectNN dengan hanya kompleksitas linier! Coba lihat!
  • [2024-07] ? MiniGPT-3D kami diterima oleh ACM MM 2024!
  • [2024-05] ? Kami merilis makalah MiniGPT-3D.

? Isi

  • ? Ringkasan
  • Contoh Dialog
  • ? Pelatihan dan Evaluasi
  • Daftar TODO
  • ? Kutipan
  • ? Lisensi
  • Pekerjaan Terkait
  • ? Ucapan Terima Kasih

? Ringkasan

Model

gambar_2

  • Kami menghadirkan MiniGPT-3D, 3D-LLM yang efisien dan kuat yang menyelaraskan titik 3D dengan LLM menggunakan prior 2D. Ia dilatih dengan 47,8 juta parameter yang dapat dipelajari hanya dalam 26,8 jam pada satu GPU RTX 3090 .
  • Kami mengusulkan strategi pelatihan empat tahap yang efisien secara berjenjang, secara bertahap mentransfer pengetahuan dari 2D-LLM.
  • Kami merancang campuran pakar kueri untuk menggabungkan beberapa fitur dari pakar yang berbeda dengan hanya 0,4 juta parameter.
  • Eksperimen ekstensif menunjukkan performa superior MiniGPT-3D pada banyak tugas sekaligus mengurangi waktu pelatihan dan parameter masing-masing hingga 6x dan 260x .

Catatan: MiniGPT-3D mengambil langkah pertama dalam 3D-LLM yang efisien , kami berharap MiniGPT-3D dapat memberikan wawasan baru bagi komunitas ini.

Hasil Eksperimen

Perbandingan Kuantitatif dengan baseline [Menggunakan LLM GPT-3.5 dan GPT-4 sumber dekat untuk mengevaluasi] .

gambar_3

Perbandingan Kuantitatif dengan garis dasar [Menggunakan LLM Qwen2-72B-Instruct sumber terbuka untuk mengevaluasi]

Hasilnya merujuk dari GreenPLM.

foto_3_2

Perbandingan Kualitatif dengan garis dasar.

gambar_3

Contoh Dialog

Silakan merujuk ke makalah kami untuk contoh dialog lainnya.

gambar_4

? Pelatihan dan Evaluasi

Instalasi

Kami menguji kode kami dalam lingkungan berikut:

  • Satu GPU RTX 3090 (24G)
  • Ubuntu 18.04.5
  • Pengandar NVIDIA: 515.105.01
  • CUDA 11.7
  • Python 3.9.18
  • Pytorch 2.0.0

Untuk memulai:

  1. Kloning repositori ini. 

    git clone https://github.com/TangYuan96/MiniGPT-3D.git
cd MiniGPT-3D

  2. Instal paket

    Secara default, Anda telah menginstal conda. 

    conda env create -f environment.yml
conda activate minigpt_3d
bash env_install.sh

Persiapan Data

  1. Unduh semua file data. Mereka membutuhkan sekitar 78GB ruang penyimpanan.
  2. Atur awan titik berwarna Objaverse 660K. Jalankan perintah berikut untuk menggabungkan dua file menjadi satu dan membuka kompresinya. Ini akan menghasilkan folder bernama 8192_npy yang berisi 660 ribu titik file cloud bernama {Objaverse_ID}_8192.npy . Setiap file adalah array numpy dengan dimensi (8192, 6), dengan tiga dimensi pertama adalah xyz dan tiga dimensi terakhir adalah rgb dalam rentang [0, 1]. 
    cat Objaverse_660K_8192_npy_split_a * > Objaverse_660K_8192_npy.tar.gz
tar -xvf Objaverse_660K_8192_npy.tar.gz
    Kemudian pindahkan semua file yang ada di folder 8192_npy ke folder ./data/objaverse_data .
  3. Atur file anotasi. Pindahkan semua file json dan file txt ke folder ./data/anno_data .
  4. Atur file data pengujian ModelNet40. Pindahkan modelnet40_test_8192pts_fps.dat ke folder ./data/modelnet40_data .

Terakhir, struktur direktori data secara keseluruhan harus: 

 MiniGPT-3D/data
|-- anno_data
|   |-- PointLLM_brief_description_660K.json
|   |-- PointLLM_brief_description_660K_filtered.json
|   |-- PointLLM_brief_description_val_200_GT.json
|   |-- PointLLM_complex_instruction_70K.json
|   |-- object_ids_660K.txt
|   `-- val_object_ids_3000.txt
|-- modelnet40_data 
|   |-- modelnet40_test_8192pts_fps.dat
|-- objaverse_data
|   |-- 00000054c36d44a2a483bdbff31d8edf_8192.npy
|   |-- 00001ec0d78549e1b8c2083a06105c29_8192.npy
|   .......

Persiapan Berat Badan

Kami memilah bobot model yang dibutuhkan oleh MiniGPT-3D selama pelatihan dan inferensi.

  1. Unduh model bobot.
  2. Pindahkan folder params_weight ke folder proyek MiniGPT-3D .

Terakhir, struktur direktori data secara keseluruhan harus: 

 MiniGPT-3D
|-- params_weight
|   |-- MiniGPT_3D_stage_3       # Our MiniGPT-3D stage III weight, needed to verify the results of paper
|   |-- MiniGPT_3D_stage_4       # Our MiniGPT-3D stage IV weight, Needed to verify the results of paper
|   |-- Phi_2                    # LLM weight 
|   |-- TinyGPT_V_stage_3        # 2D-LLM weights including  loRA & Norm of LLM and  projector 
|   |-- all-mpnet-base-v2        # Used in the caption traditional evaluation
|   |-- bert-base-uncased        # Used in initialize Q-former
|   |-- pc_encoder               # point cloud encoder
|   `-- sup-simcse-roberta-large # Used in the caption traditional evaluation
|-- train_configs
|   `-- MiniGPT_3D
|   .......

Demo Percakapan Gradio

  1. Anda dapat menjalankan perintah berikut untuk memulai demo percakapan gradio lokal: 

    python UI_demo.py --cfg-path ./eval_configs/MiniGPT_3D_conv_UI_demo.yaml --gpu-id 0

  2. Kemudian, salin tautan http://127.0.0.1:7860/ ke browser Anda, Anda dapat memasukkan id objek Objaverse yang didukung (660 ribu objek) atau mengunggah satu file objek (.ply atau .npy) untuk berbicara dengan MiniGPT-3D kami .

Contoh: Masukkan ID objek: konv_demo_1

Contoh: Unggah file objek: konv_demo_2

Kereta

Edit jalur keluaran setiap Tahapan

Jika Anda ingin menggunakan jalur keluaran default setiap Tahapan, Anda dapat mengabaikan langkah-langkah berikut.

  1. Tetapkan jalur keluaran Tahap I Anda ke sini di Jalur 44 dan di sini di Jalur 8.
  2. Tetapkan jalur keluaran Tahap II Anda ke sini di Jalur 51 dan di sini di Jalur 7.
  3. Tetapkan jalur keluaran Tahap III Anda ke sini di Jalur 66 dan di sini di Jalur 7.
  4. Tetapkan jalur keluaran Tahap IV Anda ke sini di Jalur 66.

Kereta Api Tahap I 

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_1.yaml

Kereta Api Tahap II 

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_2.yaml

Kereta Api Tahap III 

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_3.yaml

Kereta Api Tahap IV 

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_4.yaml

Evaluasi

A. Tetapkan jalur keluaran Tahap III & IV dalam konfigurasi evaluasi

Jika Anda hanya ingin memverifikasi hasil makalah kami, Anda dapat mengabaikan langkah-langkah berikut:

  1. Atur jalur keluaran Tahap III Anda ke sini di Jalur 8.

  2. Atur jalur keluaran Tahap IV Anda ke sini di Jalur 9.

B. Keluarkan hasilnya jsons

  1. Keluarkan hasil klasifikasi kosakata terbuka pada objaverse 

     # Prompt 0: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test --task_type classification  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 0 
     # Prompt 1: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test --task_type classification  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 1

  2. Keluarkan hasil klasifikasi zero-shot close-set pada ModelNet40 

     # Prompt 0:
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_modelnet_cls.py --out_path ./output/test  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 0
     # Prompt 1: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_modelnet_cls.py --out_path ./output/test  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 1

  3. Keluarkan hasil captioning objek pada objaverse 

     export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test  --task_type captioning  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 2

C. Evaluasi Hasil Json

A. Evaluasi dengan LLM sumber dekat dari OpenAI [Tidak disarankan]

Di GreenPLM, kami memperhatikan bahwa LLM sumber dekat GPT-3.5 dan GPT-4 memiliki dua kelemahan utama: versi API yang tidak konsisten dan biaya evaluasi yang tinggi (~35 CNY atau 5 USD per satu evaluasi) . Misalnya, model GPT-3.5-turbo-0613 yang digunakan di PointLLM dan MiniGPT-3D kami tidak lagi dipertahankan, sehingga sulit untuk mereplikasi hasilnya .

Langkah-langkah berikut untuk evaluasi menggunakan OpenAI API. Mungkin itu tidak berhasil! (klik untuk memperluas)
  1. Evaluasi klasifikasi kosakata terbuka pada objaverse 
   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt0.json  --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15
   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt1.json  --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15
  1. Evaluasi klasifikasi zero-shot close-set pada ModelNet40 
   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/ModelNet_classification_prompt0.json  --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15
   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/ModelNet_classification_prompt1.json  --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15
  1. Evaluasi teks objek pada objaverse 
 export PYTHONPATH= $PWD
export OPENAI_API_KEY=sk- ****
python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json --model_type gpt-4-0613 --eval_type object-captioning --parallel --num_workers 15
B. Evaluasi dengan Qwen2-72B-Instruct sumber terbuka [Rekomendasikan]

Di GreenPLM, kami mengusulkan tolok ukur klasifikasi dan teks objek 3D baru menggunakan sumber terbuka tingkat GPT-4 Qwen2-72B-Instruct untuk membuat evaluasi hemat biaya dan hasilnya dapat direproduksi secara konsisten .

  • Anda bisa mendapatkan DASHSCOPE_API_KEY dari aliyun. Evaluasi mungkin memerlukan 9 CNY (~ 1,3 USD).
  • Jika Anda memiliki sumber daya GPU yang cukup, Anda juga dapat membangun layanan Qwen2-72B-Instruct Anda sendiri, mengikuti Qwen2. Kemudian evaluasi hasilnya secara gratis!
  1. Evaluasi klasifikasi kosakata terbuka pada objaverse 
 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt0.json  
        --eval_type open-free-form-classification  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4
 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt1.json  
        --eval_type open-free-form-classification  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4
  1. Evaluasi klasifikasi zero-shot close-set pada ModelNet40 
 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
    --results_path /path/to/evaluation/ModelNet_classification_prompt0.json  
    --eval_type modelnet-close-set-classification  
    --model_type qwen2-72b-instruct 
    --parallel --num_workers 4
 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
    --results_path /path/to/evaluation/ModelNet_classification_prompt1.json  
    --eval_type modelnet-close-set-classification  
    --model_type qwen2-72b-instruct 
    --parallel --num_workers 4
  1. Evaluasi teks objek pada objaverse 
 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json  
        --eval_type object-captioning  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4
C. Evaluasi Metrik Tradisional

Untuk tugas pemberian teks objek, jalankan perintah berikut untuk mengevaluasi output model dengan metrik tradisional Sentence-BERT dan SimCSE. 

CUDA_VISIBLE_DEVICES=0 python pointllm/eval/traditional_evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json

Jalankan demo gradio lokal menggunakan beban Anda

  1. Tetapkan jalur keluaran Tahap III Anda di sini di Jalur 8.

  2. Tetapkan jalur keluaran Tahap IV Anda di sini di Jalur 9.

  3. Anda dapat menjalankan perintah berikut untuk memulai demo percakapan gradio lokal: 

    python UI_demo.py --cfg-path ./eval_configs/MiniGPT_3D_conv_UI_demo.yaml --gpu-id 0

Daftar TODO

  • Lepaskan kode inferensi dengan pos pemeriksaan.
  • Rilis kode pelatihan.
  • Rilis kode evaluasi.
  • Rilis kode demo gradio.
  • Tambahkan demo daring.

? Kutipan

Jika menurut Anda pekerjaan kami bermanfaat, silakan pertimbangkan untuk mengutip: 

 @article { tang2024minigpt ,
  title = { MiniGPT-3D: Efficiently Aligning 3D Point Clouds with Large Language Models using 2D Priors } ,
  author = { Tang, Yuan and Han, Xu and Li, Xianzhi and Yu, Qiao and Hao, Yixue and Hu, Long and Chen, Min } ,
  journal = { arXiv preprint arXiv:2405.01413 } ,
  year = { 2024 }
}

? Lisensi


Karya ini berada di bawah Lisensi Internasional Creative Commons Attribution-NonCommercial-ShareAlike 4.0.

Pekerjaan Terkait

Bersama-sama, Mari kita jadikan LLM untuk 3D hebat!

  • Point-Bind & Point-LLM: menyelaraskan point cloud dengan Image-Bind untuk menghasilkan input multi-modalitas tanpa pelatihan data instruksi 3D.
  • 3D-LLM: menggunakan model fondasi 2D untuk menyandikan gambar multi-tampilan awan titik 3D.
  • PointLLM: menggunakan awan titik 3D dengan LLaVA.
  • ShapeLLM: menggabungkan encoder point cloud yang kuat dengan LLM untuk mewujudkan adegan.
  • GreenPLM : memperluas ruang teks untuk mengurangi kebutuhan pasangan data teks 3D, atau hanya memerlukan data teks.

? Ucapan Terima Kasih

Kami ingin mengucapkan terima kasih kepada penulis PointLLM, TinyGPT-V, MiniGPT-4, dan Octavius ​​atas karya dan repo mereka yang luar biasa.

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua