多模式深度学习用于骨瘤诊断,使用临床成像,病理学和血液生物标志物
Hang Sang1, Tao Lin1, Lincong Luo2
1Guangdong Engineering Research Center for Translation of Medical 3D Printing Application, Guangdong Provincial Key Laboratory of Digital Medicine and Biomechanics, National Key Discipline of Human Anatomy, School of Basic Medical Sciences, Southern Medical University, Guangzhou, 510515, Guangdong, China.
一个新的多式联机深度学习框架准确地检测和分类使用图像,病理学和血液测试的骨瘤. 这种方法可以提高诊断准确度,帮助对良性,恶性和中间骨损伤的关键治疗决策.
科学领域:
- 在瘤学瘤学.
- 医疗成像医学成像
- 人工智能的人工智能
背景情况:
- 准确的骨瘤分类对于患者的预后至关重要,但目前的单模成像分析面临着因病变位置和复杂癌症类型的变化而存在的局限性.
- 错误分类可能导致良性瘤的过度治疗或恶性瘤的延迟干预,从而对患者的治疗结果产生负面影响.
研究的目的:
- 开发和评估一种新的多式联网深度学习框架,用于自动检测骨瘤,并对其进行三类分类 (良性,恶性,中级).
- 整合临床图像,病理切片和血液生物标志物,以提高诊断准确度.
主要方法:
- 采用了两阶段的框架:YOLOv5用于临床图像中的瘤定位,其次是基于ResNet的分类模型.
- 病理切片和临床图像被处理为深度特征,而血液生物标志物被转换为语义特征使用大语言模型和BioBERT.
- 一个融合模块整合了所有三种模式的特征,以捕获互补的信息.
主要成果:
- YOLOv5检测模型实现了强大的局部化,测试平均精度 (mAP@0.5) 为0.7925.
- 多模式融合方法在瘤分类中显著优于单模式基线.
- 该分类任务实现了宏观平均精度为0.9056,F1得分为0.8736,曲线下的面积 (AUC) 为0.9759.
结论:
- 拟议的多式联机深度学习框架有效地整合了各种数据源,以准确检测和分类骨瘤.
- 这种方法提供了一个有希望的解决方案,以克服骨瘤诊断中单模分析的局限性.
- 这些发现表明,通过更精确和及时诊断骨瘤,可以改善患者管理.
更多相关视频
05:32Multimodal Bioluminescent and Positronic-emission Tomography/Computational Tomography Imaging of Multiple Myeloma Bone Marrow Xenografts in NOG Mice
Published on: January 7, 2019
12:23Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound
Published on: August 14, 2012
