MiniGPT Med

MiniGPT-Med: Großes Sprachmodell als allgemeine Schnittstelle für die radiologische Diagnose

Asma Alkhaldi, Raneem Alnajim, Layan Alabdullatef, Rawan Alyahya, Jun Chen, Deyao Zhu, Ahmed Alsinan, Mohamed Elhoseiny

Saudi Data and Artificial Intelligence Authority (SDAIA) und King Abdullah University of Science and Technology (KAUST)

Website-Link: https://minigpt-med.github.io/

Installation

 git clone https://github.com/Vision-CAIR/MiniGPT-Med
cd MiniGPT-Med
conda env create -f environment.yml
conda activate miniGPT-Med

Laden Sie mit miniGPT-Med trainierte Modellgewichte herunter

• miniGPT-Meds Gewichte, miniGPT-Med-Modell

• Ändern Sie dann Zeile 8 unter miniGPT-Med/eval_configs/minigptv2_eval.yaml so, dass sie der Pfad des miniGPT-Med-Gewichts ist.

Bereiten Sie das Gewicht für LLMs vor

Lama2-Version

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

Ändern Sie dann Zeile 14 unter miniGPT-Med/minigpt4/configs/models/minigpt_v2.yaml so, dass sie der Pfad von Llama-2-7b-chat-hf ist.

Demo lokal starten

 python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0

Datensatz

Datensatz	Bilder	json-Datei
NACHAHMEN	Herunterladen	Herunterladen
NLST	Herunterladen	Herunterladen
STILLEN	Herunterladen	Herunterladen
RSNA	Herunterladen	Herunterladen
Rad-VQA	Downalod	Herunterladen

Anerkennung

• MiniGPT-4
• Lavis
• Vicuna
• Falke
• Lama 2