近日,微软研究院联合多家顶尖高校和科研机构推出了 LLaVA-Rad,一种旨在提升临床放射学报告生成效率的小型多模态模型。该模型的问世不仅标志着医学图像处理技术的进步,也为放射学的应用提供了新的可能。
在生物医学领域,基于大规模基础模型的研究已展现良好前景,但小型多模态模型在提高效率的同时,仍面临资源需求和性能等方面的挑战。LLaVA-Rad 模型通过模块化训练,专注于胸部 X 光图像,实现了性能上的突破,并推出了 CheXprompt 指标解决评估难题。
LLaVA-Rad 的发布,无疑推动了基础模型在临床环境中的应用,为放射学报告生成提供了一种高效且轻量级的解决方案。
项目地址:https://github.com/microsoft/LLaVA-Med
划重点:
LLaVA-Rad 是微软研究团队推出的小型多模态模型,专注于放射学报告的生成。
该模型经过697,435对胸部 X 光图像与报告的训练,实现了高效且优越的性能。
CheXprompt 是配套推出的自动评分指标,帮助解决临床应用中的评估难题。
总之,LLaVA-Rad 的推出为医疗影像处理带来了新希望。