MiniGPT Med

MiniGPT-Med : grand modèle linguistique comme interface générale pour le diagnostic radiologique

Asma Alkhaldi, Raneem Alnajim, Layan Alabdullatef, Rawan Alyahya, Jun Chen, Deyao Zhu, Ahmed Alsinan, Mohamed Elhoseiny

Autorité saoudienne des données et de l'intelligence artificielle (SDAIA) et Université des sciences et technologies du roi Abdallah (KAUST)

Lien vers le site : https://minigpt-med.github.io/

Installation

 git clone https://github.com/Vision-CAIR/MiniGPT-Med
cd MiniGPT-Med
conda env create -f environment.yml
conda activate miniGPT-Med

Téléchargez les poids des modèles formés miniGPT-Med

• Poids miniGPT-Med Modèle miniGPT-Med

• Modifiez ensuite la ligne 8 dans miniGPT-Med/eval_configs/minigptv2_eval.yaml pour qu'elle soit le chemin du poids miniGPT-Med.

Préparer le poids pour les LLM

Version Lama2

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

Modifiez ensuite la ligne 14 de miniGPT-Med/minigpt4/configs/models/minigpt_v2.yaml pour qu'elle soit le chemin de Llama-2-7b-chat-hf.

Lancer la démo localement

 python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0

Ensemble de données

Ensemble de données	Images	fichier json
IMITER	Télécharger	Télécharger
NLST	Télécharger	Télécharger
ÉTANCHER	Télécharger	Télécharger
RSNA	Télécharger	Télécharger
Rad-VQA	Télécharger	Télécharger

Reconnaissance

• MiniGPT-4
• Lavis
• Vigogne
• Faucon
• Lama 2