CVD Dermoscopic Image ICL GPT4
1.0.0
Этот репозиторий содержит код и данные для выполнения дефицита цветового видения, аккоммоданной дермоскопической классификации с GPT-4V.
Прочитайте газету
Пожалуйста, найдите подробный отклик данных модели GPT Mendeley
Numpy
Пилот
Далтонленс
json
Openai
База64
Панды
. ├── data # Contains subdirectories for processed data │ ├── all │ ├── all_resized │ ├── all_resized_brettel_protan_1 │ ├── all_resized_brettel_deutan_1 │ ├── all_resized_brettel_tritan_1 │ ├── bn │ ├── bn_resized │ ├── bn_resized_label │ ├── bn_resized_label_brettel_protan_1 │ ├── bn_resized_label_brettel_deutan_1 │ ├── bn_resized_label_brettel_tritan_1 │ ├── mm │ ├── mm_resized │ ├── mm_resized_label │ ├── mm_resized_label_brettel_protan_1 │ ├── mm_resized_label_brettel_deutan_1 │ ├── mm_resized_label_brettel_tritan_1 │ └── selected_images.xlsx # Image names ├── RAW # Contains raw data downloaded from ISCI Archive ├── result # Results from running API_calling will be stored here │ ├── 2_shot_brettel_protan_1 │ │ ├──rep 1 │ │ └── ... │ ├── 2_shot_brettel_deutan_1 │ └── ... ├── CVD_classification_GPT.py # Call OpenAI API for classification ├── CVD_convertor.py # Convert original image to CVD simulated image ├── data_labeling.py # Add label to the image for reference ├── data_resizing.py # Resize the data with the original aspect ratio ├── data_selection.py # Select data from RAW └── README.md
Все дермоскопические изображения загружаются из Archive ISIC.
Этот проект предназначен только для целей академических исследований. Код в этом репозитории выпускается по лицензии MIT. Если вы используете предоставленные данные, укажите Archive ISIC.S
Для моделирования CVD мы выбрали пакет Daltonlens-Python. Он охватывал множество доступных в настоящее время алгоритмы моделирования цветовой пустыни. Блог автора также стоит прочитать.
Мы выбрали Brettel et al. 1997 как метод моделирования CVD и установите серьезность на 1, что можно скорректировать с помощью предоставленного кода по мере необходимости.
Доброкачественный пример: ISIC_0012656
Меланома Пример: ISIC_0046725
Загрузите необработанные данные из Asic Archive
Выберите данные:
Запустите Python data_selection.py -[опции]
Данные процесса:
Запустите Python Data_Resizeing.py -[Параметры]
Запустите Python data_labeling.py -[опции]
Конвертировать данные:
Запустите Python cvd_convertor.py -[опции]
Позвоните API:
Запустите Python CVD_CLASSIFICATION_GPT.PY -[Параметры]
(A) Средняя точность классификации GPT-4V для несимулированных и сердечно-сосудимых изображений (Protanopia, Deuteranopia, Tritanopia). Столбики ошибок: стандартные отклонения. *: р <0,05; **: p <0,01 (t-test; двусторонний). Н.С.: Не существенно. Все эксперименты были в десяти повторяющихся. (B) Точность классификации GPT-4V после применения консенсусной стратегии в течение десяти повторов для каждого запроса изображения. GPT-4O включен для сравнения.
GPT-4V адаптировала свою интерпретацию по цветовым результатам с различными сердечно-сосудистыми симуляциями. В частности, он не упоминал красные или розовые цвета в моделировании протанопа и дейтеранопа, но связывали эти цвета с прогнозом меланомы на несимулированных изображениях. При симуляциях тританопии, характерной от распространенных розоватых оттенков, GPT-4V больше не обращается с розовым как особенность меланомы.
Для каждого из несимулированных и облученных тританопией были идентифицированы две группы запросов изображений на основе объяснений GPT-4V для его прогнозов. Первая группа, помеченная «красный», включает в себя описания, в которых упоминается красный цвет, чтобы описать изображение запроса, независимо от розового цвета. Вторая группа, помеченная «Pink», включает в себя описания, исключительно упоминающие розовый без красного. Ось Y отображает процент прогнозов «меланомы» от каждой повторяющейся. По умолчанию как запрос, так и эталонные изображения были либо несимулированы, либо смоделированы до одного и того же условия сердечно-сосудистых заболеваний. Тест абляции (последние два столбца) был проведен для тританопии-симуляции путем выборки ссылок из несимулированных изображений. ***: p <0,001 (t-test; двусторонний).
