CVD Dermoscopic Image ICL GPT4
1.0.0
该存储库包含用于使用GPT-4V进行色觉缺乏症的皮肤镜分类的代码和数据。
阅读论文
请找到Mendeley数据的GPT模型的详细响应
numpy
pil
道尔顿伦
JSON
Openai
基础64
熊猫
. ├── data # Contains subdirectories for processed data │ ├── all │ ├── all_resized │ ├── all_resized_brettel_protan_1 │ ├── all_resized_brettel_deutan_1 │ ├── all_resized_brettel_tritan_1 │ ├── bn │ ├── bn_resized │ ├── bn_resized_label │ ├── bn_resized_label_brettel_protan_1 │ ├── bn_resized_label_brettel_deutan_1 │ ├── bn_resized_label_brettel_tritan_1 │ ├── mm │ ├── mm_resized │ ├── mm_resized_label │ ├── mm_resized_label_brettel_protan_1 │ ├── mm_resized_label_brettel_deutan_1 │ ├── mm_resized_label_brettel_tritan_1 │ └── selected_images.xlsx # Image names ├── RAW # Contains raw data downloaded from ISCI Archive ├── result # Results from running API_calling will be stored here │ ├── 2_shot_brettel_protan_1 │ │ ├──rep 1 │ │ └── ... │ ├── 2_shot_brettel_deutan_1 │ └── ... ├── CVD_classification_GPT.py # Call OpenAI API for classification ├── CVD_convertor.py # Convert original image to CVD simulated image ├── data_labeling.py # Add label to the image for reference ├── data_resizing.py # Resize the data with the original aspect ratio ├── data_selection.py # Select data from RAW └── README.md
所有皮肤镜图像均从ISIC存档下载。
该项目仅用于学术研究目的。此存储库中的代码按MIT许可发布。如果您使用提供的数据，请引用ISIC Archive.s
对于CVD模拟，我们选择了Daltonlens-Python包。它涵盖了各种Colorblindness模拟的当前可用算法。作者的博客也值得一读。
我们选择了Brettel等人。 1997年为CVD仿真方法，并将严重性设置为1，可以根据需要使用提供的代码进行调整。
良性示例：ISIC_0012656
黑色素瘤示例：ISIC_0046725
从ISIC存档下载原始数据
选择数据：
运行python data_selection.py- [选项]
过程数据：
运行python data_resizeing.py- [选项]
运行python data_labeling.py- [选项]
转换数据：
运行python cvd_convertor.py- [选项]
致电API：
运行python cvd_classification_gpt.py- [选项]
（a）非模拟和CVD模拟图像（Protanopia，deuteranopia，tritanopia）的GPT-4V的平均分类精度。错误条：标准偏差。 *：p <0.05; **：p <0.01（t检验；两尾）。 NS：不重要。所有实验均以十个重复。 （b）在每个图像查询的十个重复中应用共识策略后，GPT-4V的分类精度。包括GPT-4O进行比较。
GPT-4V将其对基于颜色的发现的解释转化为不同的CVD模拟。具体而言，它没有在Protanope和Deuteranope模拟中提到红色或粉红色，而是将这些颜色与非模拟图像中的黑色素瘤预测相关联。在Tritanopia模拟中，通过普遍的粉红色色调来表征 - GPT-4V不再将粉红色视为黑色素瘤特征。
对于每个非模拟和曲线模拟的条件，根据GPT-4V对其预测的解释确定了两组图像查询。第一组标记为“红色”，其中包括描述，其中提到了红色以描述查询图像，而不论粉红色如何。第二组标记为“粉红色”，包括描述专门提及没有红色的粉红色。 Y轴显示每个重复的“黑色素瘤”预测的百分比。默认情况下，查询和参考图像均未模拟或模拟为相同的CVD条件。通过从非模拟图像中抽样参考文献，进行了一次消融测试（最后两列）。 ***：p <0.001（t检验；两尾）。
