MiniGPT Médio

MiniGPT-Med: modelo de linguagem grande como interface geral para diagnóstico radiológico

Asma Alkhaldi, Raneem Alnajim, Layan Alabdullatef, Rawan Alyahya, Jun Chen, Deyao Zhu, Ahmed Alsinan, Mohamed Elhoseiny

Autoridade Saudita de Dados e Inteligência Artificial (SDAIA) e Universidade King Abdullah de Ciência e Tecnologia (KAUST)

Link do site: https://minigpt-med.github.io/

Instalação

 git clone https://github.com/Vision-CAIR/MiniGPT-Med
cd MiniGPT-Med
conda env create -f environment.yml
conda activate miniGPT-Med

Baixe pesos de modelo treinados miniGPT-Med

• Pesos do miniGPT-Med Modelo miniGPT-Med

• Em seguida, modifique a linha 8 em miniGPT-Med/eval_configs/minigptv2_eval.yaml para ser o caminho do peso do miniGPT-Med.

Preparar peso para LLMs

Versão Llama2

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

Em seguida, modifique a linha 14 em miniGPT-Med/minigpt4/configs/models/minigpt_v2.yaml para ser o caminho de Llama-2-7b-chat-hf.

Lançando demonstração localmente

 python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0

Conjunto de dados

Conjunto de dados	Imagens	arquivo json
IMITAR	Download	Download
NLST	Download	Baixar
SLAKE	Baixar	Download
RSNA	Baixar	Download
Rad-VQA	Downalod	Download

Reconhecimento

• MiniGPT-4
• Lavis
• Vicunha
• Falcão
• Lhama 2