MiniGPT 医学

MiniGPT-Med: 放射線診断用の一般インターフェイスとしての大規模言語モデル

アスマ・アルハルディ、ラニーム・アルナジム、ラヤン・アブドゥラテフ、ラワン・アリヤヤ、ジュン・チェン、デヤオ・ジュー、アーメド・アルシナン、モハメド・エルホセイニー

サウジデータ人工知能庁 (SDAIA) とキング・アブドラ科学技術大学 (KAUST)

ウェブサイトリンク: https://minigpt-med.github.io/

インストール

 git clone https://github.com/Vision-CAIR/MiniGPT-Med
cd MiniGPT-Med
conda env create -f environment.yml
conda activate miniGPT-Med

miniGPT-Med トレーニング済みモデルの重みをダウンロード

• miniGPT-Med の重み miniGPT-Med モデル

• 次に、miniGPT-Med/eval_configs/minigptv2_eval.yaml の 8 行目を miniGPT-Med 重みのパスになるように変更します。

LLM の重みを準備する

Llama2のバージョン

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

次に、miniGPT-Med/minigpt4/configs/models/minigpt_v2.yaml の 14 行目を Llama-2-7b-chat-hf のパスに変更します。

デモをローカルで起動する

 python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0

データセット

データセット	画像	jsonファイル
ミミック	ダウンロード	ダウンロード
NLST	ダウンロード	ダウンロード
スレーク	ダウンロード	ダウンロード
RSNA	ダウンロード	ダウンロード
Rad-VQA	ダウンナロド	ダウンロード

了承

• MiniGPT-4
• ラヴィス
• ビクーニャ
• ファルコン
• ラマ2