Download MiniGPT 3D - Download do código-fonte MiniGPT 3D

MiniGPT 3D

Código-Fonte de IA

1.0.0

Baixar

MiniGPT-3D: Alinhando eficientemente nuvens de pontos 3D com grandes modelos de linguagem usando 2D Priors

Yuan Tang Xu Han Xianzhi Li * Qiao Yu Yixue Hao Long Hu Min Chen
Universidade de Ciência e Tecnologia de Huazhong Universidade de Tecnologia do Sul da China

ACM MM 2024

? Sobre

foto_1 foto_1

Notícias

[2024-08] ? Lançamos os códigos de treinamento e inferência, os pontos de verificação do modelo em papel e os códigos de demonstração gradio para MiniGPT-3D.
[2024-08] ? Confira nossa exploração do GreenPLM para compreensão de linguagem pontual com eficiência de dados 3D.
[2024-07] ? Nosso Mamba3D também é aceito pelo ACM MM 2024! Atingimos 92,64% Acc. SoTA na classificação de aprendizagem supervisionada ScanObjectNN com complexidade apenas linear! Confira!
[2024-07] ? Nosso MiniGPT-3D é aceito pelo ACM MM 2024!
[2024-05] ? Lançamos o papel do MiniGPT-3D.

? Conteúdo

? Visão geral
Exemplos de diálogo
? Treinamento e Avaliação
Lista de tarefas
? Citação
? Licença
Trabalho Relacionado
? Agradecimentos

? Visão geral

Modelo

foto_2

Apresentamos o MiniGPT-3D, um 3D-LLM eficiente e poderoso que alinha pontos 3D com LLMs usando anteriores 2D. Ele é treinado com 47,8 M de parâmetros que podem ser aprendidos em apenas 26,8 horas em uma única GPU RTX 3090 .
Propomos uma estratégia de treinamento eficiente em quatro etapas de forma cascata, transferindo gradativamente o conhecimento dos LLMs 2D.
Projetamos a mistura de especialistas em consulta para agregar vários recursos de diferentes especialistas com apenas 0,4 milhões de parâmetros.
Extensos experimentos mostram o desempenho superior do MiniGPT-3D em múltiplas tarefas, ao mesmo tempo que reduzem o tempo e os parâmetros de treinamento em até 6x e 260x , respectivamente.

Nota: MiniGPT-3D dá o primeiro passo no 3D-LLM eficiente , esperamos que MiniGPT-3D possa trazer novos insights para esta comunidade.

Resultados da experiência

Comparações quantitativas com linhas de base [Usando LLM GPT-3.5 e GPT-4 de fonte próxima para avaliar] .

foto_3

Comparações quantitativas com linhas de base [Usando LLM Qwen2-72B-Instruct de código aberto para avaliar]

Os resultados referem-se ao GreenPLM.

foto_3_2

Comparações qualitativas com linhas de base.

foto_3

Exemplos de diálogo

Consulte nosso artigo para obter mais exemplos de diálogo.

foto_4

? Treinamento e Avaliação

Instalação

Testamos nossos códigos no seguinte ambiente:

Uma GPU RTX 3090 (24G)
Ubuntu 18.04.5
Controlador NVIDIA: 515.105.01
CUDA11.7
Pitão 3.9.18
PyTorch 2.0.0

Para começar:

Clone este repositório.

git clone https://github.com/TangYuan96/MiniGPT-3D.git
cd MiniGPT-3D

Instalar pacotes

Por padrão, você instalou o conda.

conda env create -f environment.yml
conda activate minigpt_3d
bash env_install.sh

Preparação de Dados

Baixe todos os arquivos de dados. Eles requerem cerca de 78 GB de espaço de armazenamento.
Organize nuvens de pontos coloridos do Objaverse de 660K. Execute o seguinte comando para mesclar os dois arquivos em um e descompactá-lo. Isso produzirá uma pasta chamada 8192_npy contendo arquivos de nuvem de pontos de 660 mil chamados {Objaverse_ID}_8192.npy . Cada arquivo é uma matriz numpy com dimensões (8192, 6), onde as três primeiras dimensões são xyz e as três últimas dimensões são rgb no intervalo [0, 1].
```
cat Objaverse_660K_8192_npy_split_a * > Objaverse_660K_8192_npy.tar.gz
tar -xvf Objaverse_660K_8192_npy.tar.gz
```
Em seguida, mova todos os arquivos da pasta 8192_npy para a pasta ./data/objaverse_data .
Organize arquivos de anotações. Mova todos os arquivos json e txt para a pasta ./data/anno_data .
Organize o arquivo de dados de teste do ModelNet40. Mova modelnet40_test_8192pts_fps.dat para a pasta ./data/modelnet40_data .

Finalmente, a estrutura geral do diretório de dados deve ser:

 MiniGPT-3D/data
|-- anno_data
|   |-- PointLLM_brief_description_660K.json
|   |-- PointLLM_brief_description_660K_filtered.json
|   |-- PointLLM_brief_description_val_200_GT.json
|   |-- PointLLM_complex_instruction_70K.json
|   |-- object_ids_660K.txt
|   `-- val_object_ids_3000.txt
|-- modelnet40_data 
|   |-- modelnet40_test_8192pts_fps.dat
|-- objaverse_data
|   |-- 00000054c36d44a2a483bdbff31d8edf_8192.npy
|   |-- 00001ec0d78549e1b8c2083a06105c29_8192.npy
|   .......

Preparação de peso

Classificamos os pesos do modelo exigidos pelo MiniGPT-3D durante o treinamento e inferência.

Baixe os pesos do modelo.
Mova a pasta params_weight para a pasta do projeto MiniGPT-3D .

Finalmente, a estrutura geral do diretório de dados deve ser:

 MiniGPT-3D
|-- params_weight
|   |-- MiniGPT_3D_stage_3       # Our MiniGPT-3D stage III weight, needed to verify the results of paper
|   |-- MiniGPT_3D_stage_4       # Our MiniGPT-3D stage IV weight, Needed to verify the results of paper
|   |-- Phi_2                    # LLM weight 
|   |-- TinyGPT_V_stage_3        # 2D-LLM weights including  loRA & Norm of LLM and  projector 
|   |-- all-mpnet-base-v2        # Used in the caption traditional evaluation
|   |-- bert-base-uncased        # Used in initialize Q-former
|   |-- pc_encoder               # point cloud encoder
|   `-- sup-simcse-roberta-large # Used in the caption traditional evaluation
|-- train_configs
|   `-- MiniGPT_3D
|   .......

Demonstração de conversação Gradio

Você pode executar o seguinte comando para iniciar uma demonstração de conversa gradio local:
```
python UI_demo.py --cfg-path ./eval_configs/MiniGPT_3D_conv_UI_demo.yaml --gpu-id 0
```
Em seguida, copie o link http://127.0.0.1:7860/ para o seu navegador, você pode inserir o ID do objeto Objaverse compatível (660 mil objetos) ou fazer upload de um arquivo de objeto (.ply ou .npy) para conversar com nosso MiniGPT-3D .

Exemplo: Insira o ID do objeto: conv_demo_1

Exemplo: Faça upload do arquivo objeto: conv_demo_2

Trem

Edite o caminho de saída de cada estágio

Se quiser usar o caminho de saída padrão de cada estágio, você pode ignorar as etapas a seguir.

Defina seu caminho de saída do Estágio I aqui na Linha 44 e aqui na Linha 8.
Defina seu caminho de saída do Estágio II aqui na Linha 51 e aqui na Linha 7.
Defina seu caminho de saída do Estágio III aqui na Linha 66 e aqui na Linha 7.
Defina seu caminho de saída do Estágio IV aqui na Linha 66.

Etapa do trem I

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_1.yaml

Estágio II do trem

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_2.yaml

Treinar Estágio III

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_3.yaml

Treinar Estágio IV

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_4.yaml

Avaliação

A. Defina o caminho de saída dos Estágios III e IV na configuração de avaliação

Se você deseja apenas verificar os resultados do nosso artigo, pode ignorar as seguintes etapas:

Defina o caminho de saída do Estágio III aqui na Linha 8.
Defina o caminho de saída do Estágio IV aqui na Linha 9.

B. Produza o resultado jsons

Produza o resultado da classificação de vocabulário aberto no objaverse

 # Prompt 0: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test --task_type classification  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 0

 # Prompt 1: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test --task_type classification  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 1

Produza o resultado da classificação de disparo zero próximo no ModelNet40

 # Prompt 0:
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_modelnet_cls.py --out_path ./output/test  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 0

 # Prompt 1: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_modelnet_cls.py --out_path ./output/test  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 1

Produza o resultado da legenda do objeto no objaverse

 export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test  --task_type captioning  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 2

C. Avaliar resultados Json

um. Avalie com LLM de código próximo da OpenAI [não recomendado]

No GreenPLM, notamos que os LLMs de código próximo GPT-3.5 e GPT-4 têm duas desvantagens principais: versões de API inconsistentes e altos custos de avaliação (~35 CNY ou 5 USD por avaliação) . Por exemplo, o modelo GPT-3.5-turbo-0613 usado no PointLLM e no nosso MiniGPT-3D não é mais mantido, dificultando a replicação dos resultados .

As etapas a seguir são para avaliação usando a API OpenAI. Talvez não funcione! (clique para expandir)

Avalie a classificação do vocabulário aberto no objaverse

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt0.json  --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt1.json  --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15

Avalie a classificação de disparo zero próximo no ModelNet40

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/ModelNet_classification_prompt0.json  --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/ModelNet_classification_prompt1.json  --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15

Avalie a legenda do objeto no objaverse

 export PYTHONPATH= $PWD
export OPENAI_API_KEY=sk- ****
python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json --model_type gpt-4-0613 --eval_type object-captioning --parallel --num_workers 15

b. Avalie com Qwen2-72B-Instruct de código aberto [Recomendado]

No GreenPLM, propomos novos benchmarks de classificação e legenda de objetos 3D usando Qwen2-72B-Instruct de código aberto de nível GPT-4 para tornar as avaliações econômicas e os resultados consistentemente reproduzíveis .

Você pode obter o DASHSCOPE_API_KEY de aliyun. A avaliação pode exigir 9 CNY (~ 1,3 USD).
Se você tiver recursos de GPU suficientes, também poderá criar seu próprio serviço Qwen2-72B-Instruct, seguindo o Qwen2. Então avalie os resultados gratuitamente!

Avalie a classificação do vocabulário aberto no objaverse

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt0.json  
        --eval_type open-free-form-classification  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt1.json  
        --eval_type open-free-form-classification  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4

Avalie a classificação de disparo zero próximo no ModelNet40

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
    --results_path /path/to/evaluation/ModelNet_classification_prompt0.json  
    --eval_type modelnet-close-set-classification  
    --model_type qwen2-72b-instruct 
    --parallel --num_workers 4

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
    --results_path /path/to/evaluation/ModelNet_classification_prompt1.json  
    --eval_type modelnet-close-set-classification  
    --model_type qwen2-72b-instruct 
    --parallel --num_workers 4

Avalie a legenda do objeto no objaverse

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json  
        --eval_type object-captioning  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4

c. Avaliação Métrica Tradicional

Para a tarefa de legenda de objetos, execute o comando a seguir para avaliar as saídas do modelo com métricas tradicionais Sentença-BERT e SimCSE.

CUDA_VISIBLE_DEVICES=0 python pointllm/eval/traditional_evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json

Execute uma demonstração de gradio local usando seus pesos

Defina o caminho de saída do Estágio III aqui na Linha 8.
Defina o caminho de saída do Estágio IV aqui na Linha 9.
Você pode executar o seguinte comando para iniciar uma demonstração de conversa gradio local:
```
python UI_demo.py --cfg-path ./eval_configs/MiniGPT_3D_conv_UI_demo.yaml --gpu-id 0
```

Lista de tarefas

Libere códigos de inferência com pontos de verificação.
Liberar códigos de treinamento.
Liberar códigos de avaliação.
Libere códigos de demonstração gradio.
Adicione uma demonstração online.

? Citação

Se você achar nosso trabalho útil, considere citar:

 @article { tang2024minigpt ,
  title = { MiniGPT-3D: Efficiently Aligning 3D Point Clouds with Large Language Models using 2D Priors } ,
  author = { Tang, Yuan and Han, Xu and Li, Xianzhi and Yu, Qiao and Hao, Yixue and Hu, Long and Chen, Min } ,
  journal = { arXiv preprint arXiv:2405.01413 } ,
  year = { 2024 }
}

? Licença

Este trabalho está sob a licença Creative Commons Atribuição-NãoComercial-Compartilhamento pela mesma Licença 4.0 Internacional.

Trabalho Relacionado

Juntos, vamos tornar o LLM para 3D excelente!

Point-Bind e Point-LLM: alinha nuvens de pontos com Image-Bind para raciocinar entrada multimodal sem treinamento de dados de instrução 3D.
3D-LLM: emprega modelos de base 2D para codificar imagens de múltiplas visualizações de nuvens de pontos 3D.
PointLLM: emprega nuvens de pontos 3D com LLaVA.
ShapeLLM: combina um poderoso codificador de nuvem de pontos com LLM para cenas incorporadas.
GreenPLM: expande o espaço de texto para reduzir a necessidade de pares de dados de texto 3D ou exigir apenas dados de texto.