УВАФА-ГАН

Этот код представляет собой реализацию UWAFA-GAN с помощью Pytorch, которая была принята JBHI 2024 под названием «UWAFA-GAN: преобразование сверхширокоугольной флуоресцентной ангиографии посредством многомасштабной генерации и улучшения регистрации». Его можно использовать для преобразования сканирующей лазерной офтальмоскопии UWF (UWF-SLO) в флуоресцентную ангиографию UWF (UWF-FA) и отображения крошечных областей сосудистых поражений, а также можно обучать небольшому смещению парных UWF-SLO и UWF-FA.

Генерация UWF-FA из UWF-SLO с хорошей детализацией

Предварительные заявки

Линукс
питон>=3.7
Графический процессор NVIDIA (память>=10 ГБ) + CUDA cuDNN

Как тренироваться

Подготовка данных

Мы усердно проходим через этические процедуры и процедуры утверждения, чтобы предоставить большие объемы обучаемых данных, которые могут повысить полноту нашего кода с открытым исходным кодом. Однако в настоящее время мы не можем публиковать значительные объемы данных. Мы ценим ваше понимание по этому вопросу. Однако, если у вас есть собственные данные, вы все равно можете обучать и генерировать их с помощью нашего кода. Мы предполагаем, что ваши данные с суффиксом «.jpg» находятся в пути «dataset/yours» , во-первых, нам нужно случайным образом обрезать их в набор обучающих данных.

 python utils/advan_random_crop.py --datadir dataset/yours  --output_dir dataset/data_slo2ffa --suffix .jpg --index_interval 0 --index_interval 100

Это обрежет 100 пар изображений suffix-jpg из пути «dataset/yours» и поместит результат в путь «dataset/data_slo2ffa» . Затем можно приступить к процедуре обучения. Найдите файл yaml по пути «config/train_config.yaml», убедившись, что его data_path правильный.

Часть train_config.yaml

 batchsize: 4
epoch: 40
num_D: 2
n_layers: 4

# validation setting
validation_epoch: 41
val_dir: ''

# dataloader
data_path: ["dataset/data_slo2ffa"]
val_length: 900
seed: -1 
img_size: [832, 1088]

и запустите команду:

 python -u train_changed.py

Приступайте к оценке

Мы предоставляем 6 пар примеров для оценки в dataset/example_pairs , если у вас есть только UWF-SLO, и вы тоже можете попробовать. Для оценки первый UWF-SLO должен быть назван как 1.jpg, второй как 2.jpg... Точно так же, как в dataset/example_pairs.

настройка контрольной точки

Загрузите exp_final и убедитесь, что путь «./weights/exp_final» правильный. Каталог «exp_final» должен содержать три элемента:

 ├── exp_final
    ├──discriminator.pt
    ├──generator.pt
    ├──reg.pt

и запустите команду:

python -u utils/Model_evaluation_without_ffa.py --updir dataset/example_pairs 
    --model_updir weights/exp_final

Результат будет сохранен в пути dataset/example_pairs.

Цитирование

 @article{ge2024uwafa,
  title={UWAFA-GAN: Ultra-Wide-Angle Fluorescein Angiography Transformation via Multi-scale Generation and Registration Enhancement},
  author={Ge, Ruiquan and Fang, Zhaojie and Wei, Pengxue and Chen, Zhanghao and Jiang, Hongyang and Elazab, Ahmed and Li, Wangting and Wan, Xiang and Zhang, Shaochong and Wang, Changmiao},
  journal={IEEE Journal of Biomedical and Health Informatics},
  year={2024},
  publisher={IEEE}
}

Расширять

Дополнительная информация