MiniGPT 醫學

MiniGPT-Med：作為放射診斷通用介面的大型語言模型

Asma Alkhaldi、Raneem Alnajim、Layan Alabdullatef、Rawan Alyahya、Jun Chen、Deyao Zhu、Ahmed Alsinan、Mohamed Elhoseiny

沙烏地阿拉伯資料與人工智慧管理局 (SDAIA) 和阿卜杜拉國王科技大學 (KAUST)

網站連結：https://minigpt-med.github.io/

安裝

 git clone https://github.com/Vision-CAIR/MiniGPT-Med
cd MiniGPT-Med
conda env create -f environment.yml
conda activate miniGPT-Med

下載 miniGPT-Med 訓練模型權重

• miniGPT-Med 的權重 miniGPT-Med 模型

• 然後修改miniGPT-Med/eval_configs/minigptv2_eval.yaml第8行為miniGPT-Med權重的路徑。

為法學碩士準備體重

駱駝2版本

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

然後將miniGPT-Med/minigpt4/configs/models/minigpt_v2.yaml第14行修改為Llama-2-7b-chat-hf的路徑。

在本地啟動演示

 python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0

數據集

數據集	圖片	json 文件
模仿	下載	下載
NLST	下載	下載
熄滅	下載	下載
北美放射學會	下載	下載
輻射VQA	唐納洛德	下載

致謝

• 迷你GPT-4
• 拉維斯
• 駱駝毛
• 鷸
• 駱駝2