多模式深度学习融合超快DCEMRI和乳腺损伤分类临床信息
Belinda Lokaj1, Valentin Durand de Gevigney2, Dahila-Amal Djema3
1Geneva School of Health Sciences, HES-SO University of Applied Sciences and Arts Western Switzerland, Delémont, Switzerland; Department of Radiology and Medical Informatics, University of Geneva, Geneva, Switzerland.
Computers in biology and medicine
|February 20, 2025
概括
一种新的深度学习模型,多模式转换器与视觉转换器编码器 (MMST-V),有效地整合了乳房MRI图像和临床数据,以改进乳房病变的分类. 这种多式联络方法显著提高了诊断准确度,而不是仅仅使用成像或非成像数据.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 在瘤学瘤学.
背景情况:
- 乳腺癌是一个全球性的健康问题,MRI是检测的敏感工具.
- 放射科医生使用多模式信息,包括图像之外的临床数据,以准确地解释乳房MRI.
- 传统的机器学习 (ML) 模型与多式联络数据扎,与变压器等灵活的基于注意力的架构不同.
研究的目的:
- 开发和评估一种新的多式联络深度学习 (DL) 模型,用于乳腺损伤的分类.
- 该模型将超快动态增强对比度 (UF-DCE) 的MRI图像与病变特征和临床信息相结合.
主要方法:
- 从240名患者 (2019-2023) 收集UF-DCE乳房MRI图像和放射学报告的回顾性收集.
- 提取成像数据 (感兴趣的体积) 和非成像数据 (临床和几何特征).
- 传统的ML方法,仅图像DL模型和基于变压器的架构 (MMST-V) 的比较.
主要成果:
- 数据集包括987种病变 (280种良性病变,121种恶性病变) 和1081份报告.
- 在分类方面,尺度非成像数据 (AUROC = 0.875 ± 0.042) 超过了分类数据 (AUROC = 0.680 ± 0.060).
- 与非成像数据 (AUROC = 0.900 ± 0.045) 和仅成像数据 (AUROC = 0.863 ± 0.025) 相比,MMST-V实现了更高的性能 (AUROC = 0.928 ± 0.027).
结论:
- 多模式转换器与视觉转换器编码器 (MMST-V) 可自适应地集成多模式信息.
- 在乳腺病变分类方面,MMST-V显示出优越的诊断性能,超过单模方法.
- 将临床患者数据和病变细节与UF-DCE乳房MRI相结合,可显著提高诊断准确度.
