Dr Strange Medical Image Sequencing using Gen AI

Sequenciamento de imagens médicas usando inteligência artificial generativa.

O projeto visa colmatar lacunas nos cuidados de saúde, prevendo a progressão da doença utilizando um sistema generativo de IA que analisa a sequência de imagens médicas e depois gera a próxima imagem na sequência. Este sistema é crucial para melhorar o diagnóstico e o planejamento do tratamento. Apesar de desafios como acesso limitado a dados e tecnologia, o projeto utiliza Vision Transformers (ViTs) pré-treinados com codificador e codificadores automáticos variacionais com camadas de codificador e decodificador. Essas camadas prevêem imagens subsequentes na sequência de um paciente, auxiliando os profissionais de saúde no planejamento do tratamento e no diagnóstico preciso da doença. A abordagem do modelo composto do projeto facilita a detecção precoce de doenças, planos de tratamento personalizados e melhor educação médica para médicos e radiologistas. Isto leva a um melhor gerenciamento dos pacientes e ao uso otimizado dos recursos de saúde.

Começando

Fluxo de dados do sistema

• A imagem abaixo mostra o fluxo de dados do projeto passo a passo.

Arquitetura do sistema

• A arquitetura a seguir é a arquitetura modelo do projeto.

Dependências

• Usar uma CPU pode levar muito tempo para treinar o modelo. Use GPU com configuração: 40 GB e 16 núcleos.
• Use o Vit pré-treinado conforme mencionado na arquitetura do sistema acima.

Ajuda

• Substitua o caminho de origem do conjunto de dados no código pelo seu respectivo caminho.

Instalando

• Use .ipynb ou .py de Capstone_DrStrange_GenerativeMedicalImageSequencing. Utilizamos o Jupyter Notebook para que os pacotes sejam instalados de acordo com nosso ambiente. Certifique-se de instalar todos os pacotes necessários e importar módulos.
• Dividimos nosso conjunto de dados em Treinamento e Validação. Nossos dados de validação têm uma contagem de imagens inferior a 20.

Membros da equipe

Parth Dalal, Ajith Kumar Jalagam, Richa Saraf, Karthick Balajee, Moazzam Mansoob, Bhuvana Yadavalli

Histórico de versões

• Lançamento Inicial