CVD Dermoscopic Image ICL GPT4
1.0.0
Repositori ini berisi kode dan data untuk melakukan klasifikasi dermoscopic yang diakomi-akomodasi dengan penglihatan warna dengan GPT-4V.
Baca makalahnya
Silakan temukan respons terperinci dari data Model GPT Mendeley Data
Numpy
Pil
Daltonlens
json
Openai
base64
panda
. ├── data # Contains subdirectories for processed data │ ├── all │ ├── all_resized │ ├── all_resized_brettel_protan_1 │ ├── all_resized_brettel_deutan_1 │ ├── all_resized_brettel_tritan_1 │ ├── bn │ ├── bn_resized │ ├── bn_resized_label │ ├── bn_resized_label_brettel_protan_1 │ ├── bn_resized_label_brettel_deutan_1 │ ├── bn_resized_label_brettel_tritan_1 │ ├── mm │ ├── mm_resized │ ├── mm_resized_label │ ├── mm_resized_label_brettel_protan_1 │ ├── mm_resized_label_brettel_deutan_1 │ ├── mm_resized_label_brettel_tritan_1 │ └── selected_images.xlsx # Image names ├── RAW # Contains raw data downloaded from ISCI Archive ├── result # Results from running API_calling will be stored here │ ├── 2_shot_brettel_protan_1 │ │ ├──rep 1 │ │ └── ... │ ├── 2_shot_brettel_deutan_1 │ └── ... ├── CVD_classification_GPT.py # Call OpenAI API for classification ├── CVD_convertor.py # Convert original image to CVD simulated image ├── data_labeling.py # Add label to the image for reference ├── data_resizing.py # Resize the data with the original aspect ratio ├── data_selection.py # Select data from RAW └── README.md
Semua gambar dermoscopic diunduh dari ISIC Archive.
Proyek ini hanya untuk tujuan penelitian akademik. Kode dalam repositori ini dirilis di bawah lisensi MIT. Jika Anda menggunakan data yang disediakan, silakan kutip arsip ISIC.s
Untuk simulasi CVD, kami memilih paket Daltonlens-Python. Ini telah membahas berbagai algoritma simulasi buta warna yang tersedia saat ini. Blog penulis juga layak dibaca.
Kami telah memilih Brettel et al. 1997 sebagai metode simulasi CVD dan mengatur keparahan pada 1, yang dapat disesuaikan dengan kode yang disediakan sesuai kebutuhan.
Contoh jinak: ISIC_0012656
Contoh melanoma: ISIC_0046725
Unduh data mentah dari arsip ISIC
Pilih Data:
Jalankan python data_selection.py -[opsi]
Data proses:
Jalankan Python Data_ressizeing.py -[Opsi]
Jalankan python data_labeling.py -[opsi]
Konversi data:
Jalankan Python CVD_CONVERTOR.PY -[Opsi]
Hubungi API:
Jalankan Python CVD_Classification_gpt.py -[Opsi]
(A) Akurasi klasifikasi rata-rata GPT-4V untuk gambar yang tidak disimulasikan dan simulasi CVD (pruhanopia, deuteranopia, tritanopia). Bilah kesalahan: standar deviasi. *: p <0,05; **: p <0,01 (uji-t; dua ekor). NS: Tidak signifikan. Semua percobaan dalam sepuluh pengulangan. (B) Keakuratan klasifikasi GPT-4V mengikuti penerapan strategi konsensus di sepuluh pengulangan untuk setiap kueri gambar. GPT-4O disertakan untuk perbandingan.
GPT-4V mengadaptasi interpretasinya pada temuan berbasis warna untuk berbagai simulasi CVD. Secara khusus, itu tidak menyebutkan warna merah atau merah muda dalam simulasi pruhanope dan deuteranope tetapi menghubungkan warna-warna ini dengan prediksi melanoma pada gambar yang tidak disimulasikan. Dalam simulasi tritanopia-ditandai dengan warna merah muda yang lazim-GPT-4V tidak lagi diperlakukan merah muda sebagai fitur melanoma.
Untuk masing-masing kondisi yang tidak disimulasikan dan simulasi tritanopia, dua kelompok pertanyaan gambar diidentifikasi berdasarkan penjelasan GPT-4V untuk prediksi. Grup pertama, berlabel "merah," termasuk deskripsi di mana warna merah disebutkan untuk menggambarkan gambar kueri, terlepas dari warna merah muda. Grup kedua, berlabel "pink," terdiri dari deskripsi secara eksklusif menyebutkan pink tanpa merah. Sumbu Y menampilkan persentase prediksi "melanoma" dari setiap ulangan. Secara default, baik gambar kueri dan referensi baik tidak disimulasikan atau disimulasikan ke kondisi CVD yang sama. Tes ablasi (dua kolom terakhir) dilakukan untuk simulasi tritanopia dengan mencicipi referensi dari gambar yang tidak disimulasikan. ***: p <0,001 (uji-t; dua ekor).
