CVD Dermoscopic Image ICL GPT4
1.0.0
このリポジトリには、GPT-4Vを使用した色視力不足の皮膚鏡分類を実行するためのコードとデータが含まれています。
論文を読んでください
GPTモデルフォームMendeleyデータの詳細な応答を見つけてください
numpy
ピル
ダルトンレンズ
JSON
Openai
base64
パンダ
. ├── data # Contains subdirectories for processed data │ ├── all │ ├── all_resized │ ├── all_resized_brettel_protan_1 │ ├── all_resized_brettel_deutan_1 │ ├── all_resized_brettel_tritan_1 │ ├── bn │ ├── bn_resized │ ├── bn_resized_label │ ├── bn_resized_label_brettel_protan_1 │ ├── bn_resized_label_brettel_deutan_1 │ ├── bn_resized_label_brettel_tritan_1 │ ├── mm │ ├── mm_resized │ ├── mm_resized_label │ ├── mm_resized_label_brettel_protan_1 │ ├── mm_resized_label_brettel_deutan_1 │ ├── mm_resized_label_brettel_tritan_1 │ └── selected_images.xlsx # Image names ├── RAW # Contains raw data downloaded from ISCI Archive ├── result # Results from running API_calling will be stored here │ ├── 2_shot_brettel_protan_1 │ │ ├──rep 1 │ │ └── ... │ ├── 2_shot_brettel_deutan_1 │ └── ... ├── CVD_classification_GPT.py # Call OpenAI API for classification ├── CVD_convertor.py # Convert original image to CVD simulated image ├── data_labeling.py # Add label to the image for reference ├── data_resizing.py # Resize the data with the original aspect ratio ├── data_selection.py # Select data from RAW └── README.md
すべてのデモスコピック画像はISICアーカイブからダウンロードされます。
このプロジェクトは、学術研究目的のみを目的としています。このリポジトリのコードは、MITライセンスの下でリリースされます。提供されているデータを使用する場合は、ISIC Archive.sを引用してください
CVDシミュレーションでは、Daltonlens-Pythonパッケージを選択しました。現在利用可能なさまざまなカラーブラインドネスシミュレーションをカバーしています。著者のブログも読む価値があります。
Brettel et alを選択しました。 1997 CVDシミュレーション方法として、必要に応じて提供されたコードで調整できる1に重大度を設定します。
良性の例：ISIC_0012656
黒色腫の例：ISIC_0046725
ISICアーカイブから生データをダウンロードします
データを選択します：
python data_selection.pyを実行 - [オプション]
処理データ：
python data_resizeing.pyを実行 - [オプション]
python data_labeling.pyを実行 - [オプション]
データの変換：
python cvd_convertor.pyを実行 - [オプション]
APIに電話：
python cvd_classification_gpt.pyを実行 - [オプション]
（a）非シミュレーションおよびCVDシミュレーション画像（Protanopia、Deuteranopia、Tritanopia）のGPT-4Vの平均分類精度。エラーバー：標準偏差。 *：p <0.05; **：p <0.01（t-test; 2テール）。 NS：重要ではありません。すべての実験は10回の繰り返しでした。 （b）各画像クエリの10回のリピート全体でコンセンサス戦略を適用した後のGPT-4Vの分類精度。 GPT-4oは比較のために含まれています。
GPT-4Vは、色ベースの発見に関する解釈をさまざまなCVDシミュレーションに適合させました。具体的には、プロタノープやデュテラノープシミュレーションでは赤またはピンクの色については言及していませんでしたが、これらの色を非シミュレーション画像の黒色腫予測と関連付けました。トリタノピアシミュレーションでは、一般的なピンクがかった色合いによって特徴付けられています。GPT-4Vは、ピンクを黒色腫機能として扱わなくなりました。
シミュレートされていないおよびトリタノピアが抑制された各条件について、GPT-4Vの予測に関する説明に基づいて、2つのグループの画像調査が特定されました。 「赤」とラベル付けされた最初のグループには、ピンク色に関係なくクエリ画像を説明するために赤い色が言及されている説明が含まれています。 「ピンク」とラベル付けされた2番目のグループは、赤のないピンクについてのみ言及している説明で構成されています。 Y軸は、各複製から「黒色腫」予測の割合を表示します。デフォルトでは、クエリ画像と参照画像の両方が、同じCVD条件に合わせてシミュレートされていないか、シミュレートされていました。アブレーションテスト（最後の2列）は、シミュレートされていない画像から参照をサンプリングすることにより、トリタノピアシミュレーションのために行われました。 ***：p <0.001（t-test; 2テール）。
