Obat MiniGPT

MiniGPT-Med: Model Bahasa Besar sebagai Antarmuka Umum untuk Diagnosis Radiologi

Asma Alkhaldi, Raneem Alnajim, Layan Alabdullatef, Rawan Alyahya, Jun Chen, Deyao Zhu, Ahmed Alsinan, Mohamed Elhoseiny

Otoritas Data dan Kecerdasan Buatan Saudi (SDAIA) dan Universitas Sains dan Teknologi King Abdullah (KAUST)

Tautan situs web: https://minigpt-med.github.io/

Instalasi

 git clone https://github.com/Vision-CAIR/MiniGPT-Med
cd MiniGPT-Med
conda env create -f environment.yml
conda activate miniGPT-Med

Unduh anak timbangan model terlatih miniGPT-Med

• bobot miniGPT-Med Model miniGPT-Med

• Kemudian ubah baris 8 di miniGPT-Med/eval_configs/minigptv2_eval.yaml menjadi jalur bobot miniGPT-Med.

Siapkan bobot untuk LLM

Versi Llama2

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

Kemudian ubah baris 14 di miniGPT-Med/minigpt4/configs/models/minigpt_v2.yaml menjadi jalur Llama-2-7b-chat-hf.

Meluncurkan Demo Secara Lokal

 python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0

Kumpulan data

Kumpulan data	Gambar	file json
MENIRU	Unduh	Unduh
NLST	Unduh	Unduh
MEMUASKAN	Unduh	Unduh
RSNA	Unduh	Unduh
Rad-VQA	Unduh	Unduh

Pengakuan

• MiniGPT-4
• Lavis
• Vicuna
• Elang
• Lama 2