MiniGPT Med

MiniGPT-Med: modelo de lenguaje grande como interfaz general para el diagnóstico radiológico

Asma Alkhaldi, Raneem Alnajim, Layan Alabdullatef, Rawan Alyahya, Jun Chen, Deyao Zhu, Ahmed Alsinan, Mohamed Elhoseiny

Autoridad Saudita de Datos e Inteligencia Artificial (SDAIA) y Universidad de Ciencia y Tecnología Rey Abdullah (KAUST)

Enlace al sitio web: https://minigpt-med.github.io/

Instalación

 git clone https://github.com/Vision-CAIR/MiniGPT-Med
cd MiniGPT-Med
conda env create -f environment.yml
conda activate miniGPT-Med

Descargar pesas modelo entrenadas miniGPT-Med

• Pesos de miniGPT-Med Modelo miniGPT-Med

• Luego modifique la línea 8 en miniGPT-Med/eval_configs/minigptv2_eval.yaml para que sea la ruta del peso de miniGPT-Med.

Prepare el peso para los LLM

Versión Llama2

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

Luego modifique la línea 14 en miniGPT-Med/minigpt4/configs/models/minigpt_v2.yaml para que sea la ruta de Llama-2-7b-chat-hf.

Lanzamiento de la demostración localmente

 python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0

Conjunto de datos

Conjunto de datos	Imágenes	archivo json
IMITAR	Descargar	Descargar
NLST	Descargar	Descargar
APAGAR	Descargar	Descargar
RSNA	Descargar	Descargar
Rad-VQA	descargar	Descargar

Reconocimiento

• MiniGPT-4
• Lavis
• Vicuña
• Halcón
• Llama 2