通过整合放射学报告信息来促进可解释的大脑MRI损伤检测的深度学习
Lisong Dai1, Jiayu Lei1, Fenglong Ma1
1From the Institute of Diagnostic and Interventional Radiology (L.D., Z.S., H.D., J.J., D.W., G.T., X.S., J.Z., Q.Z., Y.L.) and Clinical Research Center (J.W.), Shanghai Sixth People's Hospital Affiliated to Shanghai Jiao Tong University School of Medicine, 600 Yishan Road, Shanghai 200000, China; Shanghai AI Laboratory, Shanghai, China (J.L., Y.Z.); School of Computer Science and Technology, University of Science and Technology of China, Anhui, China (J.L.); The Pennsylvania State University College of Information Sciences and Technology, University Park, Pa (F.M.); Department of Electrical Engineering, City University of Hong Kong, Hong Kong, China (H.Z.); Department of Radiology, Affiliated Hospital of Nantong University, Nantong, China (J.J.); Department of Radiology, Shanghai Ninth People's Hospital Affiliated to Shanghai Jiao Tong University School of Medicine, Shanghai, China (S.A.); Department of Radiology, Shanghai Public Health Clinical Center, Shanghai, China (A.S.); Department of Radiology, Wuhan Hankou Hospital, Wuhan, China (Z.L.); and Cooperative Medianet Innovation Center, Shanghai Jiao Tong University, Shanghai, China (Y.Z.).
将放射学报告文本集成到深度学习模型中,可以显著提高脑损伤检测的准确性和可解释性. 这种基于知识的方法提高了医学成像分析的诊断能力.
科学领域:
- 医疗成像中的人工智能
- 机器学习用于诊断支持
- 放射学和神经辐射学
背景情况:
- 深度学习 (DL) 模型在分析脑部MRI扫描以检测病变方面表现有前途.
- 医疗诊断中DL模型的解释性和通用性仍然是一个挑战.
- 放射学报告包含有价值的文本信息,可以潜在地引导DL模型的注意.
研究的目的:
- 为了提高基于深度学习的脑病变检测的解释性和准确性.
- 引导DL模型的注意力转向脑损伤的特定MRI特征,使用放射学报告中的文本特征.
- 开发和评估基于知识的DL模型 (ReportGuidedNet) 与标准DL模型 (PlainNet) 相比.
主要方法:
- 对35,282个脑部MRI扫描和培训/内部测试报告的回顾性分析.
- 从多个中心对2,655个脑部MRI扫描进行外部测试.
- 开发ReportGuidedNet,将报告中的文本特征和没有文本特征的PlainNet结合起来.
- 使用宏平均AUC (ma-AUC) 和微平均AUC (mi-AUC) 的性能评估.
- 评估模型注意力地图使用五分利克特尺度.
主要成果:
- 在所有诊断的内部和外部测试组中,ReportGuidedNet显著超过PlainNet (例如,内部ma-AUC:0.93与0.85).
- 在ReportGuidedNet中,内部和外部测试之间的绩效差距较小,表明更好的概括性 (Δma-AUC:0.03对0.10).
- 与PlainNet相比,ReportGuidedNet的解释性得分更高 (利克尔特尺度:2.50±1.09对1.32±1.20;P<.001).与PlainNet相比,ReportGuidedNet的解释性得分更高.
结论:
- 将放射学报告中的文本特征集成到DL模型中,可以提高脑损伤检测性能.
- 基于知识的方法提高了模型的解释性和通用性,这对于临床应用至关重要.
- 这种方法为开发更可靠,更易于理解的医疗成像人工智能工具提供了一个有希望的策略.
更多相关视频
12:50Lesion Explorer: A Video-guided, Standardized Protocol for Accurate and Reliable MRI-derived Volumetrics in Alzheimer's Disease and Normal Elderly
Published on: April 14, 2014
04:48Application of Deep Learning-Based Medical Image Segmentation via Orbital Computed Tomography
Published on: November 30, 2022
