Descarga de MiniGPT 3D - Descarga del código fuente MiniGPT 3D

MiniGPT 3D

Código Fuente de IA

1.0.0

Descargar

MiniGPT-3D: Alineación eficiente de nubes de puntos 3D con modelos de lenguaje grandes utilizando prioridades 2D

Yuan Tang Xu Han Xianzhi Li* Qiao Yu Yixue Hao Long Hu Min Chen
Universidad de Ciencia y Tecnología de Huazhong Universidad de Tecnología del Sur de China

ACM MM 2024

? Acerca de

foto_1 foto_1

Noticias

[2024-08] ? Publicamos los códigos de entrenamiento e inferencia, los puntos de control del modelo en papel y los códigos de demostración de gradio para MiniGPT-3D.
[2024-08] ? Consulte nuestra exploración de la comprensión del lenguaje de puntos con eficiencia de datos 3D GreenPLM.
[2024-07] ? ¡Nuestro Mamba3D también es aceptado por ACM MM 2024! Logramos un 92,64% Acc. ¡SoTA en la clasificación de aprendizaje supervisado ScanObjectNN con solo complejidad lineal! ¡Échale un vistazo!
[2024-07] ? ¡Nuestro MiniGPT-3D es aceptado por ACM MM 2024!
[2024-05] ? Lanzamos el papel de MiniGPT-3D.

? Contenido

? Descripción general
Ejemplos de diálogo
? Capacitación y Evaluación
Lista de tareas pendientes
? Citación
? Licencia
Trabajo relacionado
? Expresiones de gratitud

? Descripción general

Modelo

foto_2

Presentamos MiniGPT-3D, un 3D-LLM eficiente y potente que alinea puntos 3D con LLM utilizando antecedentes 2D. Está entrenado con 47,8 M de parámetros que se pueden aprender en solo 26,8 horas en una única GPU RTX 3090 .
Proponemos una estrategia de formación eficiente en cuatro etapas en cascada, transfiriendo gradualmente el conocimiento de los 2D-LLM.
Diseñamos la combinación de expertos en consultas para agregar múltiples funciones de diferentes expertos con solo 0,4 millones de parámetros.
Amplios experimentos muestran el rendimiento superior de MiniGPT-3D en múltiples tareas al tiempo que reducen el tiempo de entrenamiento y los parámetros hasta 6x y 260x , respectivamente.

Nota: MiniGPT-3D da el primer paso hacia un 3D-LLM eficiente ; esperamos que MiniGPT-3D pueda aportar nuevos conocimientos a esta comunidad.

Resultados del experimento

Comparaciones cuantitativas con líneas de base [Usando LLM GPT-3.5 y GPT-4 de fuente cercana para evaluar] .

foto_3

Comparaciones cuantitativas con líneas de base [Usando LLM Qwen2-72B-Instruct de código abierto para evaluar]

Los resultados se refieren a GreenPLM.

foto_3_2

Comparaciones cualitativas con líneas de base.

foto_3

Ejemplos de diálogo

Consulte nuestro documento para obtener más ejemplos de diálogo.

foto_4

? Capacitación y Evaluación

Instalación

Probamos nuestros códigos en el siguiente entorno:

Una GPU RTX 3090 (24G)
Ubuntu 18.04.5
Controlador NVIDIA: 515.105.01
CUDA 11.7
Pitón 3.9.18
Pytorch 2.0.0

Para empezar:

Clona este repositorio.

git clone https://github.com/TangYuan96/MiniGPT-3D.git
cd MiniGPT-3D

Instalar paquetes

De forma predeterminada, ha instalado conda.

conda env create -f environment.yml
conda activate minigpt_3d
bash env_install.sh

Preparación de datos

Descargue todos los archivos de datos. Requieren alrededor de 78 GB de espacio de almacenamiento.
Organice nubes de puntos de colores Objaverse de 660K. Ejecute el siguiente comando para fusionar los dos archivos en uno y descomprimirlo. Esto producirá una carpeta llamada 8192_npy que contiene archivos de nube de puntos de 660K llamados {Objaverse_ID}_8192.npy . Cada archivo es una matriz numerosa con dimensiones (8192, 6), donde las primeras tres dimensiones son xyz y las últimas tres dimensiones son rgb en el rango [0, 1].
```
cat Objaverse_660K_8192_npy_split_a * > Objaverse_660K_8192_npy.tar.gz
tar -xvf Objaverse_660K_8192_npy.tar.gz
```
Luego, mueva todos los archivos de la carpeta 8192_npy a la carpeta ./data/objaverse_data .
Organizar archivos de anotaciones. Mueva todos los archivos json y txt a la carpeta ./data/anno_data .
Organice el archivo de datos de prueba de ModelNet40. Mueva modelnet40_test_8192pts_fps.dat a la carpeta ./data/modelnet40_data .

Finalmente, la estructura general del directorio de datos debería ser:

 MiniGPT-3D/data
|-- anno_data
|   |-- PointLLM_brief_description_660K.json
|   |-- PointLLM_brief_description_660K_filtered.json
|   |-- PointLLM_brief_description_val_200_GT.json
|   |-- PointLLM_complex_instruction_70K.json
|   |-- object_ids_660K.txt
|   `-- val_object_ids_3000.txt
|-- modelnet40_data 
|   |-- modelnet40_test_8192pts_fps.dat
|-- objaverse_data
|   |-- 00000054c36d44a2a483bdbff31d8edf_8192.npy
|   |-- 00001ec0d78549e1b8c2083a06105c29_8192.npy
|   .......

Preparación de peso

Clasificamos los pesos del modelo requeridos por MiniGPT-3D durante el entrenamiento y la inferencia.

Descargar pesos de modelo.
Mueva la carpeta params_weight a la carpeta del proyecto MiniGPT-3D .

Finalmente, la estructura general del directorio de datos debería ser:

 MiniGPT-3D
|-- params_weight
|   |-- MiniGPT_3D_stage_3       # Our MiniGPT-3D stage III weight, needed to verify the results of paper
|   |-- MiniGPT_3D_stage_4       # Our MiniGPT-3D stage IV weight, Needed to verify the results of paper
|   |-- Phi_2                    # LLM weight 
|   |-- TinyGPT_V_stage_3        # 2D-LLM weights including  loRA & Norm of LLM and  projector 
|   |-- all-mpnet-base-v2        # Used in the caption traditional evaluation
|   |-- bert-base-uncased        # Used in initialize Q-former
|   |-- pc_encoder               # point cloud encoder
|   `-- sup-simcse-roberta-large # Used in the caption traditional evaluation
|-- train_configs
|   `-- MiniGPT_3D
|   .......

Demostración de conversación de Gradio

Puede ejecutar el siguiente comando para iniciar una demostración de conversación de gradio local:
```
python UI_demo.py --cfg-path ./eval_configs/MiniGPT_3D_conv_UI_demo.yaml --gpu-id 0
```
Luego, copie el enlace http://127.0.0.1:7860/ en su navegador, puede ingresar la identificación del objeto Objaverse compatible (660 000 objetos) o cargar un archivo de objeto (.ply o .npy) para hablar con nuestro MiniGPT-3D. .

Ejemplo: Introduzca el ID del objeto: conv_demo_1

Ejemplo: cargar el archivo objeto: conv_demo_2

Tren

Editar la ruta de salida de cada etapa.

Si desea utilizar la ruta de salida predeterminada de cada etapa, puede ignorar los siguientes pasos.

Establezca su ruta de salida de la Etapa I aquí en la Línea 44 y aquí en la Línea 8.
Establezca su ruta de salida de la Etapa II aquí en la Línea 51 y aquí en la Línea 7.
Establezca su ruta de salida de la Etapa III aquí en la Línea 66 y aquí en la Línea 7.
Establezca su ruta de salida de la Etapa IV aquí en la Línea 66.

Tren Etapa I

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_1.yaml

Tren Etapa II

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_2.yaml

Tren Etapa III

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_3.yaml

Tren Etapa IV

 CUDA_VISIBLE_DEVICES=0 python  train.py --cfg-path ./train_configs/MiniGPT_3D/stage_4.yaml

Evaluación

A. Establecer la ruta de salida de las etapas III y IV en la configuración de evaluación

Si solo desea verificar los resultados de nuestro artículo, puede ignorar los siguientes pasos:

Establezca su ruta de salida de la Etapa III aquí en la Línea 8.
Establezca la ruta de salida de la Etapa IV aquí en la Línea 9.

B. Generar el resultado jsons

Generar el resultado de la clasificación de vocabulario abierto en objaverse

 # Prompt 0: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test --task_type classification  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 0

 # Prompt 1: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test --task_type classification  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 1

Generar el resultado de la clasificación de disparo cero cercano en ModelNet40

 # Prompt 0:
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_modelnet_cls.py --out_path ./output/test  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 0

 # Prompt 1: 
export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_modelnet_cls.py --out_path ./output/test  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 1

Generar el resultado de los subtítulos de objetos en objaverse

 export PYTHONPATH= $PWD
CUDA_VISIBLE_DEVICES=0 python pointllm/eval/eval_objaverse.py --out_path ./output/test  --task_type captioning  --cfg-path ./eval_configs/benchmark_evaluation_paper.yaml    --prompt_index 2

C. Evaluar los resultados de Json

a. Evalúe con LLM de código cercano de OpenAI [No recomendado]

En GreenPLM, hemos notado que los LLM de código cercano GPT-3.5 y GPT-4 tienen dos inconvenientes principales: versiones de API inconsistentes y altos costos de evaluación (~35 CNY o 5 USD por una evaluación) . Por ejemplo, el modelo GPT-3.5-turbo-0613 utilizado en PointLLM y nuestro MiniGPT-3D ya no se mantiene, lo que dificulta replicar los resultados .

Los siguientes pasos son para la evaluación utilizando la API OpenAI. ¡Quizás no funcione! (haga clic para ampliar)

Evaluar la clasificación de vocabulario abierto en objaverso.

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt0.json  --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt1.json  --model_type gpt-4-0613 --eval_type open-free-form-classification --parallel --num_workers 15

Evalúe la clasificación de tiro cero en conjuntos cerrados en ModelNet40

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/ModelNet_classification_prompt0.json  --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15

   export PYTHONPATH= $PWD
   export OPENAI_API_KEY=sk- ****
   python pointllm/eval/evaluator.py --results_path /path/to/evaluation/ModelNet_classification_prompt1.json  --model_type gpt-3.5-turbo-0613 --eval_type modelnet-close-set-classification --parallel --num_workers 15

Evaluar los subtítulos del objeto en objaverse

 export PYTHONPATH= $PWD
export OPENAI_API_KEY=sk- ****
python pointllm/eval/evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json --model_type gpt-4-0613 --eval_type object-captioning --parallel --num_workers 15

b. Evalúe con Qwen2-72B-Instruct de código abierto [Recomendar]

En GreenPLM, proponemos nuevos puntos de referencia de subtítulos y clasificación de objetos 3D utilizando Qwen2-72B-Instruct de código abierto de nivel GPT-4 para hacer que las evaluaciones sean rentables y los resultados sean consistentemente reproducibles .

Puede obtener DASHSCOPE_API_KEY de aliyun. La evaluación puede requerir 9 CNY (~ 1,3 USD).
Si tiene suficientes recursos de GPU, también puede crear su propio servicio Qwen2-72B-Instruct, siguiendo el Qwen2. ¡Entonces evalúa los resultados gratis!

Evaluar la clasificación de vocabulario abierto en objaverso.

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt0.json  
        --eval_type open-free-form-classification  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_classification_prompt1.json  
        --eval_type open-free-form-classification  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4

Evalúe la clasificación de tiro cero en conjuntos cerrados en ModelNet40

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
    --results_path /path/to/evaluation/ModelNet_classification_prompt0.json  
    --eval_type modelnet-close-set-classification  
    --model_type qwen2-72b-instruct 
    --parallel --num_workers 4

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
    --results_path /path/to/evaluation/ModelNet_classification_prompt1.json  
    --eval_type modelnet-close-set-classification  
    --model_type qwen2-72b-instruct 
    --parallel --num_workers 4

Evaluar los subtítulos del objeto en objaverse

 export PYTHONPATH= $PWD
export DASHSCOPE_API_KEY=sk-xxx
python ./pointllm/eval/evaluator_opensource_llm_QwenAPI.py  
        --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json  
        --eval_type object-captioning  
        --model_type qwen2-72b-instruct 
        --parallel --num_workers 4

do. Evaluación de métricas tradicionales

Para la tarea de subtitulado de objetos, ejecute el siguiente comando para evaluar los resultados del modelo con las métricas tradicionales Sentence-BERT y SimCSE.

CUDA_VISIBLE_DEVICES=0 python pointllm/eval/traditional_evaluator.py --results_path /path/to/evaluation/PointLLM_brief_description_val_200_GT_Objaverse_captioning_prompt2.json

Ejecute una demostración de gradio local usando sus pesas

Establezca su ruta de salida de la Etapa III aquí en la Línea 8.
Establezca su ruta de salida de la Etapa IV aquí en la Línea 9.
Puede ejecutar el siguiente comando para iniciar una demostración de conversación de gradio local:
```
python UI_demo.py --cfg-path ./eval_configs/MiniGPT_3D_conv_UI_demo.yaml --gpu-id 0
```

Lista de tareas pendientes

Liberar códigos de inferencia con puntos de control.
Liberar códigos de entrenamiento.
Liberar códigos de evaluación.
Libere códigos de demostración de gradio.
Agregar demostración en línea.

? Citación

Si encuentra útil nuestro trabajo, considere citar:

 @article { tang2024minigpt ,
  title = { MiniGPT-3D: Efficiently Aligning 3D Point Clouds with Large Language Models using 2D Priors } ,
  author = { Tang, Yuan and Han, Xu and Li, Xianzhi and Yu, Qiao and Hao, Yixue and Hu, Long and Chen, Min } ,
  journal = { arXiv preprint arXiv:2405.01413 } ,
  year = { 2024 }
}

? Licencia

Este trabajo se encuentra bajo la Licencia Internacional Creative Commons Atribución-No Comercial-CompartirIgual 4.0.

Trabajo relacionado

¡Juntos, hagamos que el LLM para 3D sea grandioso!

Point-Bind y Point-LLM: alinea las nubes de puntos con Image-Bind para razonar la entrada multimodal sin entrenamiento de datos de instrucciones 3D.
3D-LLM: emplea modelos básicos 2D para codificar imágenes de vistas múltiples de nubes de puntos 3D.
PointLLM: emplea nubes de puntos 3D con LLaVA.
ShapeLLM: combina un potente codificador de nube de puntos con LLM para escenas incorporadas.
GreenPLM: expande el espacio de texto para reducir la necesidad de pares de datos de texto 3D, o requerir solo datos de texto.