med gemini medqa relabelling
1.0.0
このリポジトリには、[1] の一部として実行された MedQA の再ラベル付け、特に図 4b と付録 C.2 の結果に対応するデータとコードが含まれています。
[1] Khaled Saab、Tao Tu、Wei-Hung Weng、Ryutaro Tanno、David Stutz、Ellery Wulczyn、Fan Zhang、Tim Strother、Chunjong Park、Elahe Vedadi、Juanma Zambrano Chaves、Szu-Yeu Hu、Mike Schaekermann、Aishwarya Kamith、ヨン・チェン、デビッド GT バレット、キャシー・チャン、バジル・ムスタファ、アニルパレプ、ダニエル・マクダフ、ル・ホウ、トマー・ゴラニー、ルーヤン・リウ、ジャン＝バティスト・アララック、ニール・ホールズビー、ネナド・トマセフ、ヤン・フライバーグ、チャールズ・ラウ、ジョナス・ケンプ、ジェレミー・ライ、シェコーフェ・アジジ、キンバリー・カナダ、シワイ・マン、カビタ・クルカルニ、ルオクシーサン、シアマック・シャケリ、ルーヘン・ヘ、ベン・ケイン、アルバート・ウェブソン、ナターシャ・ラティシェワ、メルビン・ジョンソン、フィリップ・マンスフィールド、ジャン・ルー、エフド・リブリン、ジェスパー・アンダーソン、ブラッドリー・グリーン、レニー・ウォン、ジョナサン・クラウス、ジョナソン・シュレンズ、エバ・ドミノフスカ、SM アリ・エスラミ、キャサリン・チョウ、クレア・キュイ、オリオル・ヴィニャルズ、コライカヴククオグル、ジェームス・マニカ、ジェフディーン、デミス・ハサビス、ヨッシ・マティアス、デイル・ウェブスター、ジョエル・バラル、グレッグ・コラード、クリストファー・セムトゥルス、S・サラ・マハダヴィ、ジュラジ・ゴットワイス、アラン・カーティケサリンガム、ヴィヴェク・ナタラジャン。医学におけるジェミニモデルの機能。 ArXiv、abs/2404.18416。
Med-Gemini は、Web 検索をシームレスに使用できる機能を備えた医療に特化した高機能マルチモーダル モデルのファミリーであり、カスタム エンコーダーを使用して新しいモダリティに効率的に調整できます。 Med-Gemini は特に、人気のある MedQA (USMLE) ベンチマークで 91.1% の精度という新しい最先端のパフォーマンスを達成しています。ただし、この評価の一環として、MedQA テスト セットのすべての質問が評価に適しているわけではないことに気付きました。さまざまな質問には、ラベルの誤りや、含まれていない図や検査結果などの参照情報の欠落が含まれているのではないかと考えられます。したがって、信頼できる結果を報告するために、質問ごとに少なくとも 3 人のプライマリケア医師 (PCP) を使用して MedQA の完全な再ラベルを実施し、情報の欠落とラベルの誤りを尋ねました。このリポジトリには、対応するデータと分析コードが含まれています。
公式の手順に従って Conda をインストールします。インストール後は必ず bash を再起動してください。
次を使用してこのリポジトリのクローンを作成します
git clone https://github.com/google-health/med-gemini-medqa-relabelling
cd med-gemini-medqa-relabelling
environment.ymlから新しい Conda 環境を作成し、アクティブ化します (環境はconda deactivate使用していつでも非アクティブ化できます)。
conda env create -f environment.yml
conda activate medqa_relabelling
あるいは、 jupyter 、 numpy 、 pandasおよびmatplotlib手動でインストールします。
これらの命令は、64 ビット Linux ワークステーション上の Conda バージョン 23.7.4 (miniconda ではない) でテストされています。競合するpyenv環境がアクティブ化されていないこと、または使用する bash プロファイルでPATHが明示的に設定または変更されていないことを確認することをお勧めします。 Conda 環境をアクティブ化した後、対応する Python バイナリがPATHの最初に存在する必要があります。そうでない場合 (たとえば、 PATH最初に~/.local/にあるローカル Python インストールがリストされている場合)、問題が発生する可能性があります。
注釈付きの MedQA の質問はmedqa_relabelling.csvで入手でき、Pandas を使用して簡単にロードできます。
input_file = 'medqa_relabelling.csv'
with open(input_file, 'r') as f:
df = pd.read_csv(f)
df.head()
CSV ファイルには、個々の評価が行として含まれており、次の列が含まれます。
time : 注釈タスクの時間 (ミリ秒)。worker_id匿名化されたワーカー ID。qid : 質問ID。question : MedQA の質問。A ～ D : MedQA の回答オプション。answer_idx : MedQA の真実の回答。info_missingおよびimportant_info_missing : 質問内の情報が欠落していることを評価者が示したかどうか、およびこの情報が質問に答えるために重要であると評価されたかどうか。blind_answerableおよびseen_answerable : 評価者が、グラウンド トゥルースの回答を明らかにする前 ( blind_ ) と後 ( seen_ ) に、1 つ以上の選択肢が質問に回答すると判断したかどうか。blind_asnwersおよびseen_answers : 質問が回答可能な場合は選択された回答。seen_change : 評価者が真実を明らかにした後に回答を更新したかどうか。正確な研究デザインの詳細については、付録 C.2 の論文を参照してください。
medqa_analysis.ipynbを実行して、ダミー モデル予測を使用して論文の結果を再現します。これらをモデルの予測に置き換えて、論文の図 4b を再現できます。
このリポジトリの一部を使用する場合は、必ず次のように論文を引用してください。
@article{Saab2024CapabilitiesOG,
title={Capabilities of Gemini Models in Medicine},
author={Khaled Saab and Tao Tu and Wei-Hung Weng and Ryutaro Tanno and David Stutz and Ellery Wulczyn and Fan Zhang and Tim Strother and Chunjong Park and Elahe Vedadi and Juanma Zambrano Chaves and Szu-Yeu Hu and Mike Schaekermann and Aishwarya B Kamath and Yong Cheng and David G.T. Barrett and Cathy Cheung and Basil Mustafa and Anil Palepu and Daniel McDuff and Le Hou and Tomer Golany and Lu Liu and Jean-Baptiste Alayrac and Neil Houlsby and Nenad Toma{vs}ev and Jan Freyberg and Charles Lau and Jonas Kemp and Jeremy Lai and Shekoofeh Azizi and Kimberly Kanada and SiWai Man and Kavita Kulkarni and Ruoxi Sun and Siamak Shakeri and Luheng He and Ben Caine and Albert Webson and Natasha Latysheva and Melvin Johnson and Philip Mansfield and Jian Lu and Ehud Rivlin and Jesper Anderson and Bradley Green and Renee Wong and Jonathan Krause and Jonathon Shlens and Ewa Dominowska and S. M. Ali Eslami and Claire Cui and Oriol Vinyals and Koray Kavukcuoglu and James Manyika and Jeff Dean and Demis Hassabis and Yossi Matias and Dale R. Webster and Joelle Barral and Gregory S. Corrado and Christopher Semturs and S. Sara Mahdavi and Juraj Gottweis and Alan Karthikesalingam and Vivek Natarajan},
journal={ArXiv},
volume={abs/2404.18416},
year={2024},
}
すべてのソフトウェアは、Apache License バージョン 2.0 (Apache 2.0) に基づいてライセンス供与されています。 Apache 2.0 ライセンスに準拠する場合を除き、このファイルを使用することはできません。 Apache 2.0 ライセンスのコピーは、https://www.apache.org/licenses/LICENSE-2.0 で入手できます。
提供される注釈は、クリエイティブ コモンズ表示 4.0 国際ライセンス (CC-BY) に基づいてライセンスされています。 CC-BY ライセンスのコピーは、https://creativecommons.org/licenses/by/4.0/legalcode で入手できます。
適用される法律で要求される場合、または書面による同意がない限り、Apache 2.0 または CC-BY ライセンスに基づいてここで配布されるすべてのソフトウェアおよびマテリアルは、明示または黙示を問わず、いかなる種類の保証や条件もなく、「現状のまま」で配布されます。ライセンスに基づく許可と制限を規定する特定の言語のライセンスを参照してください。
これは Google の公式製品ではありません。
オリジナルの MedQA 質問のライセンスは、jind11/MedQA にあります。
