MiniGPT 메드

MiniGPT-Med: 방사선 진단을 위한 일반 인터페이스로서의 대규모 언어 모델

Asma Alkhaldi, Raneem Alnajim, Layan Alabdullatef, Rawan Alyahya, Jun Chen, Deyao Zhu, Ahmed Alsinan, Mohamed Elhoseiny

사우디 데이터 및 인공 지능 기관(SDAIA) 및 킹 압둘라 과학 기술 대학교(KAUST)

웹사이트 링크: https://minigpt-med.github.io/

설치

 git clone https://github.com/Vision-CAIR/MiniGPT-Med
cd MiniGPT-Med
conda env create -f environment.yml
conda activate miniGPT-Med

miniGPT-Med 훈련된 모델 가중치 다운로드

• miniGPT-Med의 가중치 miniGPT-Med 모델

• 그런 다음 miniGPT-Med/eval_configs/minigptv2_eval.yaml의 8행을 miniGPT-Med 가중치의 경로로 수정합니다.

LLM을 위한 체중 준비

Llama2 버전

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

그런 다음 miniGPT-Med/minigpt4/configs/models/minigpt_v2.yaml의 14행을 Llama-2-7b-chat-hf의 경로로 수정합니다.

로컬에서 데모 실행

 python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0

데이터세트

데이터세트	이미지	JSON 파일
모방	다운로드	다운로드
NLST	다운로드	다운로드
끄다	다운로드	다운로드
RSNA	다운로드	다운로드
Rad-VQA	다운로드	다운로드

승인

• MiniGPT-4
• 라비스
• 비쿠나
• 매
• 라마 2