Dr Strange Medical Image Sequencing using Gen AI

Séquençage d’images médicales grâce à l’intelligence artificielle générative.

Le projet vise à combler les lacunes en matière de soins de santé en prédisant la progression de la maladie à l’aide d’un système d’IA générative qui analyse la séquence d’images médicales puis génère l’image suivante dans la séquence. Ce système est crucial pour améliorer le diagnostic et la planification du traitement. Malgré des défis tels qu'un accès limité aux données et à la technologie, le projet utilise des transformateurs de vision (ViT) pré-entraînés avec encodeur et des encodeurs automatiques variationnels avec des couches d'encodeur et de décodeur. Ces couches prévoient les images suivantes dans la séquence d'un patient, aidant ainsi les professionnels de la santé à planifier le traitement et à diagnostiquer avec précision la maladie. L'approche du modèle composite du projet facilite la détection précoce des maladies, les plans de traitement personnalisés et une formation médicale améliorée pour les cliniciens et les radiologues. Cela conduit à une meilleure prise en charge des patients et à une utilisation optimisée des ressources de santé.

Commencer

Flux de données système

• L'image ci-dessous représente le flux de données du projet étape par étape.

Architecture du système

• L'architecture suivante est l'architecture modèle du projet.

Dépendances

• L'utilisation d'un processeur peut prendre beaucoup de temps pour entraîner le modèle. Utilisez le GPU avec configuration : 40 Go et 16 cœurs.
• Utilisez le Vit pré-entraîné comme mentionné dans l'architecture système ci-dessus.

Aide

• Remplacez le chemin source de l’ensemble de données dans le code par votre chemin respectif.

Installation

• Utilisez .ipynb ou .py de Capstone_DrStrange_GenerativeMedicalImageSequencing. Nous avons utilisé Jupyter Notebook afin que les packages soient installés en fonction de notre environnement. Assurez-vous d'installer tous les packages et modules d'importation nécessaires.
• Nous avons divisé notre ensemble de données en formation et validation. Nos données de validation ont un nombre d’images inférieur à 20.

Membres de l'équipe

Parth Dalal, Ajith Kumar Jalagam, Richa Saraf, Karthick Balajee, Moazzam Mansoob, Bhuvana Yadavalli

Historique des versions

• Version initiale