UWAFA-GAN

Este código é a implementação pytorch do UWAFA-GAN que foi aceito pelo JBHI 2024 denominado "UWAFA-GAN: Transformação de Angiografia de Fluoresceína Ultra-Wide-Angle via Geração Multiescala e Aprimoramento de Registro". Ele pode ser usado para transformar a oftalmoscopia a laser de varredura UWF (UWF-SLO) na angiografia fluoresceínica UWF (UWF-FA) e exibir as pequenas áreas de lesão vascular e pode ser treinado em um pequeno desalinhamento emparelhado com UWF-SLO e UWF-FA.

Geração UWF-FA de UWF-SLO com belos detalhes

Pré-requisitos

Linux
píton>=3.7
GPU NVIDIA (memória>=10G) + CUDA cuDNN

Como treinar

Preparação dos dados

Estamos navegando diligentemente por procedimentos éticos e de aprovação para fornecer grandes quantidades de dados treináveis que possam aumentar a abrangência do nosso código-fonte aberto. No entanto, neste momento, não podemos divulgar publicamente volumes substanciais de dados. Agradecemos sua compreensão em relação a este assunto. Porém, se você tiver seus próprios dados, ainda poderá treinar e gerar usando nosso código. Presumimos que seus dados, com sufixo como ".jpg", estão no caminho "dataset/yours" , primeiro precisamos recortá-los aleatoriamente no conjunto de dados de treinamento.

 python utils/advan_random_crop.py --datadir dataset/yours  --output_dir dataset/data_slo2ffa --suffix .jpg --index_interval 0 --index_interval 100

Isso cortará os 100 pares de imagens suffix-jpg do caminho "dataset/yours" e colocará o resultado no caminho "dataset/data_slo2ffa" . Então o procedimento de treinamento pode ser exercido. Encontre o arquivo yaml no caminho "config/train_config.yaml", certificando-se de que o data_path dele esteja correto.

Parte de train_config.yaml

 batchsize: 4
epoch: 40
num_D: 2
n_layers: 4

# validation setting
validation_epoch: 41
val_dir: ''

# dataloader
data_path: ["dataset/data_slo2ffa"]
val_length: 900
seed: -1 
img_size: [832, 1088]

e execute o comando:

 python -u train_changed.py

Comece a avaliação

Fornecemos 6 pares de exemplos para avaliação em dataset/example_pairs , se você tiver apenas UWF-SLO e puder tentar também. Para avaliar, o primeiro UWF-SLO deve ser nomeado como 1.jpg, o segundo como 2.jpg... Assim como em dataset/example_pairs

configuração de ponto de verificação

Baixe o exp_final e certifique-se de que o caminho "./weights/exp_final" esteja correto. O diretório “exp_final” deve conter três elementos:

 ├── exp_final
    ├──discriminator.pt
    ├──generator.pt
    ├──reg.pt

e execute o comando:

python -u utils/Model_evaluation_without_ffa.py --updir dataset/example_pairs 
    --model_updir weights/exp_final

O resultado será salvo no caminho dataset/example_pairs

Citação

 @article{ge2024uwafa,
  title={UWAFA-GAN: Ultra-Wide-Angle Fluorescein Angiography Transformation via Multi-scale Generation and Registration Enhancement},
  author={Ge, Ruiquan and Fang, Zhaojie and Wei, Pengxue and Chen, Zhanghao and Jiang, Hongyang and Elazab, Ahmed and Li, Wangting and Wan, Xiang and Zhang, Shaochong and Wang, Changmiao},
  journal={IEEE Journal of Biomedical and Health Informatics},
  year={2024},
  publisher={IEEE}
}

Expandir

Informações adicionais