SMF-net:用于医学CT图像中精确的胰腺瘤细分的语义引导多式融合网络
Wenyi Zhou1, Ziyang Shi1, Bin Xie1
1School of Electronic Information and Physics, Central South University of Forestry and Technology, Changsha, China.
Frontiers in oncology
|August 4, 2025
概括
本研究介绍了SMF-Net,这是一种深度学习模型,用于在CT扫描中对胰腺瘤进行细分. SMF-Net通过融合视觉和语义特征来提高准确性,提高医疗成像中的瘤检测和细分.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 在瘤学瘤学.
背景情况:
- 在CT图像中精确细分胰腺瘤对于诊断胰腺癌至关重要.
- 现有的深度学习模型与复杂的胰腺形态和保留局部特征作斗争,影响细分精度.
- 挑战包括表型变异和胰腺瘤细分中的细粒度局部信息丢失.
研究的目的:
- 开发一个新的多式联络医疗图像细分框架,SMF-Net,以解决胰腺瘤细分方面的局限性.
- 通过有效地融合视觉和语义特征来提高瘤定位和细分精度.
- 为了改善局部歧视性特征的保留,以便更好地细分胰腺瘤.
主要方法:
- 拟议的SMF-Net (语义引导的多式融合网络) 配有CNN-变压器混合编码器.
- 集成的AMBERT用于渐进式特征提取和多模态令牌转换器 (MTT)用于视觉语义特征融合.
- 利用多式联网增强注意力模块 (MEAM) 进行本地特征保留,以及用于多式联网数据稀缺的半监督学习范式 (DAS-Net).
主要成果:
- 在MPTD数据集上,SMF-Net获得了脏的79.25%和瘤细分的64.21%的Dice分数.
- 与原始模型相比,胰腺和瘤细分分别得到了2.24%和4.18%的改善.
- 在肺部感染细分数据集上超越了最先进的方法,表明强大的概括能力.
结论:
- SMF-Net为胰腺和瘤区域提供了准确的细分,具有临床应用的潜力.
- 该模型对肺部区域进行细分的能力进一步突出了其多功能性.
- 开发的框架显示了在医学图像分析中实际临床使用的重大前景.
