CVD Dermoscopic Image ICL GPT4
1.0.0
이 저장소에는 GPT-4V를 사용한 컬러 비전 결함 흡수성 피부과 분류를 수행하기위한 코드 및 데이터가 포함되어 있습니다.
종이를 읽으십시오
GPT 모델 양식 Mendeley Data의 자세한 응답을 찾으십시오.
Numpy
필
달토 렌스
JSON
Openai
베이스 64
팬더
. ├── data # Contains subdirectories for processed data │ ├── all │ ├── all_resized │ ├── all_resized_brettel_protan_1 │ ├── all_resized_brettel_deutan_1 │ ├── all_resized_brettel_tritan_1 │ ├── bn │ ├── bn_resized │ ├── bn_resized_label │ ├── bn_resized_label_brettel_protan_1 │ ├── bn_resized_label_brettel_deutan_1 │ ├── bn_resized_label_brettel_tritan_1 │ ├── mm │ ├── mm_resized │ ├── mm_resized_label │ ├── mm_resized_label_brettel_protan_1 │ ├── mm_resized_label_brettel_deutan_1 │ ├── mm_resized_label_brettel_tritan_1 │ └── selected_images.xlsx # Image names ├── RAW # Contains raw data downloaded from ISCI Archive ├── result # Results from running API_calling will be stored here │ ├── 2_shot_brettel_protan_1 │ │ ├──rep 1 │ │ └── ... │ ├── 2_shot_brettel_deutan_1 │ └── ... ├── CVD_classification_GPT.py # Call OpenAI API for classification ├── CVD_convertor.py # Convert original image to CVD simulated image ├── data_labeling.py # Add label to the image for reference ├── data_resizing.py # Resize the data with the original aspect ratio ├── data_selection.py # Select data from RAW └── README.md
모든 피부과 이미지는 ISIC 아카이브에서 다운로드됩니다.
이 프로젝트는 학업 연구 목적으로 만 사용됩니다. 이 저장소의 코드는 MIT 라이센스에 따라 해제됩니다. 제공된 데이터를 사용하면 ISIC Archive.s를 인용하십시오.
CVD 시뮬레이션을 위해 Daltonlens-Python 패키지를 선택했습니다. 현재 사용 가능한 다양한 색상의 알고리즘을 다루었습니다. 저자의 블로그는 또한 읽을 가치가 있습니다.
우리는 Brettel et al. 1997 CVD 시뮬레이션 방법으로서 심각도를 1로 설정하여 필요에 따라 제공된 코드로 조정할 수 있습니다.
양성 예 : ISIC_0012656
흑색 종 예 : ISIC_0046725
ISIC 아카이브에서 원시 데이터를 다운로드하십시오
데이터 선택 :
python data_selection.py 실행 -[옵션]
프로세스 데이터 :
python data_resizeing.py 실행 -[옵션]
python data_labeling.py 실행 -[옵션]
데이터 변환 :
Python CVD_Convertor.py 실행 -[옵션]
호출 API :
Python cvd_classification_gpt.py 실행 -[옵션]
(a) 비 시뮬레이션 및 CVD- 시뮬레이션 이미지 (Protanopia, Deuteranopia, Tritanopia)에 대한 GPT-4V의 평균 분류 정확도. 오류 막대 : 표준 편차. *: p <0.05; ** : p <0.01 (t- 테스트; 양측). NS : 중요하지 않습니다. 모든 실험은 10 회 반복되었습니다. (b) 각 이미지 쿼리에 대해 10 번 반복에 걸쳐 합의 전략을 적용한 후 GPT-4V의 분류 정확도. GPT-4O는 비교를 위해 포함됩니다.
GPT-4V는 색상 기반 결과에 대한 해석을 다른 CVD- 시뮬레이션에 적용했습니다. 구체적으로, 그것은 프로타노프 및 중수소 시뮬레이션에서 빨간색 또는 분홍색을 언급하지 않았지만 이러한 색상을 비 시뮬레이션 이미지에서 흑색 종 예측과 연관시켰다. Tritanopia 시뮬레이션에서 널리 퍼진 분홍빛 색조로 특징화 된 Tritanopia 시뮬레이션에서 GPT-4V는 더 이상 분홍색을 흑색 종 기능으로 처리하지 않습니다.
비 시뮬레이션 및 트리타노피아-시뮬레이션 조건 각각에 대해, 예측에 대한 GPT-4V의 설명에 기초하여 두 그룹의 이미지 문의가 식별되었다. "빨간색"으로 표시된 첫 번째 그룹에는 핑크색에 관계없이 쿼리 이미지를 설명하기 위해 빨간색이 언급되는 설명이 포함됩니다. "Pink"로 표시된 두 번째 그룹은 핑크를 빨간색으로 언급하는 설명으로 구성됩니다. Y 축은 각 복제로부터 "흑색 종"예측의 백분율을 표시합니다. 기본적으로 쿼리 및 참조 이미지는 동일한 CVD 조건으로 시뮬레이션되거나 시뮬레이션되었습니다. 비 시뮬레이션 이미지의 참조를 샘플링하여 삼각형 시뮬레이션을 위해 절제 시험 (마지막 두 열)을 수행했습니다. *** : p <0.001 (t- 테스트; 양측).
