医学影像分析一直面临着MRI图像数据量巨大且复杂的挑战。传统方法将3D MRI图像切割成2D图像进行分析,限制了对复杂解剖结构的理解。然而,GE医疗在AWS re:Invent大会上发布了行业首个全身3D MRI研究基础模型,为这一难题带来了突破性进展。该模型基于超过173,000张图像构建,训练所需计算能力比以往减少了五倍,能够实现对复杂3D MRI数据的实时分析,并支持图像与文本的搜索、链接,以及疾病的分割和分类。
MRI 图像因其复杂性和数据量大,一直以来都是医学影像分析中的一大挑战。为了训练大型语言模型(LLM)进行 MRI 分析,开发者不得不将获取的图像切割为2D 图像,这样的处理虽然可行,但却限制了模型对复杂解剖结构的分析能力,尤其是在脑肿瘤、骨骼疾病或心血管疾病等复杂案例中。
图源备注:图片由AI生成,图片授权服务商Midjourney
不过,GE 医疗在今年的 AWS re:Invent 大会上发布了行业首个全身3D MRI 研究基础模型(FM),这标志着 MRI 模型终于可以利用整个身体的3D 图像。这一模型是基于超过173,000张来自19,000个研究的图像构建的,开发团队表示,通过这一新模型,训练所需的计算能力比以往减少了五倍。
尽管 GE 医疗尚未将这一基础模型商业化,目前仍处于研究阶段,早期评估者马萨诸塞总医院(Mass General Brigham)即将开始实验使用这一模型。GE 医疗的首席人工智能官帕里・巴蒂亚(Parry Bhatia)表示,希望将这些模型赋予医疗系统的技术团队,帮助他们更快速、经济地开发研究和临床应用。
这一模型的出现将实现对复杂3D MRI 数据的实时分析。GE 医疗团队在先进技术方面已有十年积累,其旗舰产品 AIR Recon DL 是一种深度学习重建算法,能帮助放射科医生更快地获取清晰图像,并可将扫描时间缩短多达50%。此外,该3D MRI 模型可以支持图像与文本的搜索、链接,并对疾病进行分割和分类,期望能为医疗专业人员提供比以往更详尽的扫描信息。
在数据处理上,开发团队采用了 “调整与适应” 的策略,使模型能够处理各种不同的数据集,即便有些图像数据不完整,模型也能够跳过缺失部分。此外,半监督的学生 - 教师学习方法也被运用,以提高模型在有限数据条件下的学习能力。
为了解决构建此复杂模型过程中遇到的计算和数据挑战,GE 医疗利用了亚马逊的 SageMaker 平台,结合高性能 GPU 的分布式训练能力,显著提升了数据处理速度和模型训练效率。这一切都在确保符合 HIPAA 等合规标准的前提下进行,以期为患者提供更个性化的医疗服务。
目前,该模型虽然专注于 MRI 领域,但开发者们看到了向其他医学领域扩展的巨大机会。未来,基于这一基础模型,或许可以为放射治疗等领域提供更快、更高效的解决方案。
划重点:
GE 医疗推出行业首个全身3D MRI 研究基础模型,显著提高影像分析能力。
新模型通过调整数据处理策略,减少计算资源消耗,提高训练效率。
该模型未来有望拓展至其他医学领域,助力更精准的医疗服务。
GE医疗的3D MRI研究基础模型标志着医学影像分析进入了一个新的时代,其高效的分析能力和潜在的应用前景,将极大推动医疗技术的进步,为患者带来更精准、更便捷的医疗服务。 未来,该模型有望应用于更多领域,进一步提升医疗诊断和治疗效率。