CVD Dermoscopic Image ICL GPT4
1.0.0
يحتوي هذا المستودع على رمز وبيانات لإجراء تصنيف تنظير الجلد الذي يحمل رؤية رؤية اللون مع GPT-4V.
اقرأ الورقة
يرجى العثور على الاستجابة التفصيلية لبيانات Mendeley من نموذج GPT
numpy
بيل
دالتونلينز
جيسون
Openai
BASE64
الباندا
. ├── data # Contains subdirectories for processed data │ ├── all │ ├── all_resized │ ├── all_resized_brettel_protan_1 │ ├── all_resized_brettel_deutan_1 │ ├── all_resized_brettel_tritan_1 │ ├── bn │ ├── bn_resized │ ├── bn_resized_label │ ├── bn_resized_label_brettel_protan_1 │ ├── bn_resized_label_brettel_deutan_1 │ ├── bn_resized_label_brettel_tritan_1 │ ├── mm │ ├── mm_resized │ ├── mm_resized_label │ ├── mm_resized_label_brettel_protan_1 │ ├── mm_resized_label_brettel_deutan_1 │ ├── mm_resized_label_brettel_tritan_1 │ └── selected_images.xlsx # Image names ├── RAW # Contains raw data downloaded from ISCI Archive ├── result # Results from running API_calling will be stored here │ ├── 2_shot_brettel_protan_1 │ │ ├──rep 1 │ │ └── ... │ ├── 2_shot_brettel_deutan_1 │ └── ... ├── CVD_classification_GPT.py # Call OpenAI API for classification ├── CVD_convertor.py # Convert original image to CVD simulated image ├── data_labeling.py # Add label to the image for reference ├── data_resizing.py # Resize the data with the original aspect ratio ├── data_selection.py # Select data from RAW └── README.md
يتم تنزيل جميع الصور التنظيرية من أرشيف ISIC.
هذا المشروع هو لأغراض البحث الأكاديمي فقط. يتم إصدار الرمز في هذا المستودع تحت رخصة معهد ماساتشوستس للتكنولوجيا. إذا كنت تستخدم البيانات المقدمة ، فيرجى الاستشهاد بأرشيف ISIC
لمحاكاة CVD ، اخترنا حزمة Daltonlens-Python. لقد غطت مجموعة متنوعة من الخوارزميات المتوفرة حاليًا لمحاكاة Colorblindness. مدونة المؤلف تستحق القراءة أيضًا.
لقد اخترنا Brettel et al. 1997 كطريقة محاكاة CVD وتعيين الشدة في 1 ، والتي يمكن تعديلها بالرمز المقدم حسب الحاجة.
مثال حميد: ISIC_0012656
مثال على الميلانوما: ISIC_0046725
قم بتنزيل البيانات الخام من أرشيف ISIC
حدد البيانات:
قم بتشغيل Python data_selection.py -[خيارات]
بيانات العملية:
قم بتشغيل Python Data_resizeing.py -[خيارات]
قم بتشغيل Python data_labeling.py -[خيارات]
تحويل البيانات:
قم بتشغيل Python CVD_Convertor.py -[خيارات]
استدعاء API:
قم بتشغيل Python CVD_Classification_gpt.py -[خيارات]
(أ) متوسط دقة التصنيف من GPT-4V للصور غير المحاكاة والتقسيم المقصود (Protanopia ، Deuteranopia ، Tritanopia). أشرطة الخطأ: الانحرافات المعيارية. *: p <0.05 ؛ **: p <0.01 (t-test ؛ two-tail). NS: ليست كبيرة. وكانت جميع التجارب في عشرة تكرار. (ب) دقة تصنيف GPT-4V بعد تطبيق استراتيجية الإجماع عبر العشرة تكرار لكل استعلام صورة. تضمين GPT-4O للمقارنة.
قامت GPT-4V بتكييف تفسيرها على النتائج المستندة إلى الألوان مع اختلافات CVD. على وجه التحديد ، لم يذكر الألوان الحمراء أو الوردي في محاكاة بروتانوب ودوترانوب ولكنها ربطت هذه الألوان مع تنبؤ سرطان الجلد في الصور غير المحاكاة. في محاكاة Tritanopia-التي تحطمتها الأشكال الوردية السائدة-لم تعد GPT-4V تعامل الوردي كميزة سرطان الجلد.
لكل من الظروف غير المحاكاة والثلاثية المحاكاة ، تم تحديد مجموعتين من استفسارات الصور استنادًا إلى تفسيرات GPT-4V لتنبؤاتها. تتضمن المجموعة الأولى ، المسمى "الأحمر" ، أوصافًا حيث يتم ذكر اللون الأحمر لوصف صورة الاستعلام ، بغض النظر عن اللون الوردي. المجموعة الثانية ، المسمى "Pink" ، تشتمل على أوصاف تذكر حصريًا Pink بدون أحمر. يعرض المحور Y النسبة المئوية لتنبؤات "سرطان الجلد" من كل نسخ متكرر. بشكل افتراضي ، كانت كل من الصور والمرجعية إما غير محاكاة أو محاكاة إلى نفس حالة الأمراض القلبية الوعائية. تم إجراء اختبار الاجتثاث (العمودين الأخيرين) من أجل تحفيز Tritanopia عن طريق أخذ عينات من المراجع من الصور غير المحاكاة. ***: p <0.001 (t-test ؛ two-tail).
