MiniGPT 医学

MiniGPT-Med：作为放射诊断通用接口的大型语言模型

Asma Alkhaldi、Raneem Alnajim、Layan Alabdullatef、Rawan Alyahya、Jun Chen、Deyao Zhu、Ahmed Alsinan、Mohamed Elhoseiny

沙特数据和人工智能管理局 (SDAIA) 和阿卜杜拉国王科技大学 (KAUST)

网站链接：https://minigpt-med.github.io/

安装

 git clone https://github.com/Vision-CAIR/MiniGPT-Med
cd MiniGPT-Med
conda env create -f environment.yml
conda activate miniGPT-Med

下载 miniGPT-Med 训练模型权重

• miniGPT-Med 的权重 miniGPT-Med 模型

• 然后修改miniGPT-Med/eval_configs/minigptv2_eval.yaml第8行为miniGPT-Med权重的路径。

为法学硕士准备体重

骆驼2版本

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

然后将miniGPT-Med/minigpt4/configs/models/minigpt_v2.yaml第14行修改为Llama-2-7b-chat-hf的路径。

在本地启动演示

 python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0

数据集

数据集	图片	json 文件
模仿	下载	下载
NLST	下载	下载
熄灭	下载	下载
北美放射学会	下载	下载
辐射VQA	唐纳洛德	下载

致谢

• 迷你GPT-4
• 拉维斯
• 骆驼毛
• 鹘
• 骆驼2