Dr Strange Medical Image Sequencing using Gen AI

生成人工知能を使用した医療画像シーケンス。

このプロジェクトは、一連の医療画像を分析し、次の画像を順番に生成する生成 AI システムを使用して病気の進行を予測することで、医療格差を埋めることを目的としています。このシステムは、診断と治療計画を強化するために非常に重要です。データやテクノロジーへのアクセスが制限されているなどの課題にもかかわらず、このプロジェクトでは、エンコーダーを備えた事前トレーニング済みのビジョン トランスフォーマー (ViT) と、エンコーダーおよびデコーダー レイヤーを備えた変分オート エンコーダーを利用しています。これらのレイヤーは、患者のシーケンス内の後続の画像を予測し、医療専門家による治療計画と正確な病気の診断を支援します。このプロジェクトの複合モデルアプローチは、病気の早期発見、個別化された治療計画、臨床医と放射線科医への医学教育の強化を促進します。これにより、患者管理が改善され、医療リソースが最適に使用されるようになります。

はじめる

システムデータフロー

• 下の図は、プロジェクトのデータフローを段階的に示しています。

システムアーキテクチャ

• 次のアーキテクチャは、プロジェクトのモデル アーキテクチャです。

依存関係

• CPU を使用すると、モデルのトレーニングに時間がかかることがあります。構成で GPU を使用します: 40 GB および 16 コア。
• 上記のシステム アーキテクチャで説明したように、事前トレーニングされた Vit を使用します。

ヘルプ

• コード内のデータセットのソース パスをそれぞれのパスに置き換えます。

インストール中

• Capstone_DrStrange_GenerativeMedicalImageSequencing の .ipynb または .py を使用します。 Jupyter Notebook を使用したので、環境に応じてパッケージがインストールされます。必要なパッケージをすべてインストールし、モジュールをインポートしていることを確認してください。
• データセットをトレーニングと検証に分割しました。検証データの画像数は 20 未満です。

チームメンバー

パース ダラル、アジット クマール ジャラガム、リチャ サラフ、カーシック バラジー、モアザム マンスーブ、ブヴァナ ヤダヴァリ

バージョン履歴

• 初期リリース