近日,微軟研究院聯合多家頂尖高校和科研機構推出了LLaVA-Rad,一種旨在提升臨床放射學報告生成效率的小型多模態模型。該模型的問世不僅標誌著醫學圖像處理技術的進步,也為放射學的應用提供了新的可能。
在生物醫學領域,基於大規模基礎模型的研究已展現良好前景,但小型多模態模型在提高效率的同時,仍面臨資源需求和性能等方面的挑戰。 LLaVA-Rad 模型通過模塊化訓練,專注於胸部X 光圖像,實現了性能上的突破,並推出了CheXprompt 指標解決評估難題。
LLaVA-Rad 的發布,無疑推動了基礎模型在臨床環境中的應用,為放射學報告生成提供了一種高效且輕量級的解決方案。
項目地址:https://github.com/microsoft/LLaVA-Med
劃重點:
LLaVA-Rad 是微軟研究團隊推出的小型多模態模型,專注於放射學報告的生成。
該模型經過697,435對胸部X 光圖像與報告的訓練,實現了高效且優越的性能。
CheXprompt 是配套推出的自動評分指標,幫助解決臨床應用中的評估難題。
總之,LLaVA-Rad 的推出為醫療影像處理帶來了新希望。