Dr Strange Medical Image Sequencing using Gen AI

생성 인공 지능을 사용한 의료 영상 시퀀싱.

이 프로젝트는 일련의 의료 이미지를 분석한 후 순차적으로 다음 이미지를 생성하는 생성 AI 시스템을 사용하여 질병 진행을 예측함으로써 의료 격차를 해소하는 것을 목표로 합니다. 이 시스템은 진단 및 치료 계획을 향상시키는 데 중요합니다. 제한된 데이터 및 기술 액세스와 같은 과제에도 불구하고 이 프로젝트는 사전 훈련된 ViT(Vision Transformer)와 인코더, Variational Auto Encoder(인코더 및 디코더 레이어)를 활용합니다. 이러한 레이어는 환자의 순서에 따른 후속 이미지를 예측하여 의료 전문가가 치료 계획을 세우고 정확한 질병을 진단하는 데 도움을 줍니다. 이 프로젝트의 복합 모델 접근 방식은 조기 질병 발견, 맞춤형 치료 계획, 임상의 및 방사선 전문의를 위한 향상된 의학 교육을 촉진합니다. 이를 통해 환자 관리가 향상되고 의료 자원의 활용이 최적화됩니다.

시작하기

시스템 데이터 흐름

• 아래 그림은 프로젝트의 데이터 흐름을 단계별로 보여줍니다.

시스템 아키텍처

• 다음 아키텍처는 프로젝트의 모델 아키텍처입니다.

종속성

• CPU를 사용하면 모델을 학습하는 데 많은 시간이 걸릴 수 있습니다. 40GB 및 16개 코어 구성의 GPU를 사용합니다.
• 위의 시스템 아키텍처에서 언급한 대로 사전 훈련된 Vit을 사용합니다.

돕다

• 코드의 데이터세트 소스 경로를 해당 경로로 바꿉니다.

설치 중

• Capstone_DrStrange_GenerativeMedicalImageSequencing의 .ipynb 또는 .py를 사용하세요. Jupyter Notebook을 사용하여 환경에 맞게 패키지를 설치했습니다. 필요한 모든 패키지와 가져오기 모듈을 설치했는지 확인하세요.
• 우리는 데이터세트를 훈련(Training)과 검증(Validation)으로 나누었습니다. 검증 데이터의 이미지 개수는 20개 미만입니다.

팀원

파르스 달랄, 아지스 쿠마르 잘라감, 리차 사라프, 카르틱 발라지, 모아잠 만수브, 부바나 야다발리

버전 기록

• 최초 출시