Dr Strange Medical Image Sequencing using Gen AI

Medizinische Bildsequenzierung mithilfe generativer künstlicher Intelligenz.

Das Projekt zielt darauf ab, Lücken in der Gesundheitsversorgung zu schließen, indem das Fortschreiten der Krankheit mithilfe eines generativen KI-Systems vorhergesagt wird, das die Sequenz medizinischer Bilder analysiert und dann das nächste Bild der Reihe nach generiert. Dieses System ist für die Verbesserung der Diagnose und Behandlungsplanung von entscheidender Bedeutung. Trotz Herausforderungen wie begrenztem Daten- und Technologiezugriff nutzt das Projekt vorab trainierte Vision Transformers (ViTs) mit Encoder und Variational Auto Encoder mit Encoder- und Decoderschichten. Diese Schichten prognostizieren nachfolgende Bilder in der Sequenz eines Patienten und unterstützen medizinisches Fachpersonal bei der Behandlungsplanung und der genauen Krankheitsdiagnose. Der Verbundmodellansatz des Projekts erleichtert die Früherkennung von Krankheiten, personalisierte Behandlungspläne und eine verbesserte medizinische Ausbildung für Kliniker und Radiologen. Dies führt zu einem besseren Patientenmanagement und einer optimierten Nutzung der Gesundheitsressourcen.

Erste Schritte

Systemdatenfluss

• Das folgende Bild zeigt den Datenfluss des Projekts Schritt für Schritt.

Systemarchitektur

• Die folgende Architektur ist die Modellarchitektur des Projekts.

Abhängigkeiten

• Bei Verwendung einer CPU kann das Trainieren des Modells viel Zeit in Anspruch nehmen. GPU mit Konfiguration verwenden: 40 GB und 16 Kerne.
• Verwenden Sie das vorab trainierte Vit, wie in der obigen Systemarchitektur erwähnt.

Helfen

• Ersetzen Sie den Quellpfad des Datensatzes im Code durch Ihren entsprechenden Pfad.

Installieren

• Verwenden Sie entweder .ipynb oder .py von Capstone_DrStrange_GenerativeMedicalImageSequencing. Wir haben Jupyter Notebook verwendet, damit die Pakete entsprechend unserer Umgebung installiert werden. Stellen Sie sicher, dass Sie alle erforderlichen Pakete und Importmodule installieren.
• Wir haben unseren Datensatz in Training und Validierung unterteilt. Unsere Validierungsdaten haben eine Bildanzahl von weniger als 20.

Teammitglieder

Parth Dalal, Ajith Kumar Jalagam, Richa Saraf, Karthick Balajee, Moazzam Mansoob, Bhuvana Yadavalli

Versionsverlauf

• Erstveröffentlichung