通过双蒸进行医疗图像细分的多尺度上下文学习
Ruize Cui1, Lanqing Liu1, Youyi Song2
1Centre for Smart Health, School of Nursing, The Hong Kong Polytechnic University, Hong Kong SAR, China.
Medical physics
|November 11, 2024
概括
本研究介绍了医疗图像细分的高效混合模型,结合了卷积神经网络 (CNN) 和变压器. 这种新的方法减少了计算复杂性,同时提高了临床应用的细分精度.
科学领域:
- 医学图像分析 医学图像分析
- 为医疗保健提供深度学习.
- 计算病理学计算病理学
背景情况:
- 结合卷积神经网络 (CNN) 和变压器的混合模型显示,通过整合多尺度表示,医疗图像细分具有前途.
- 然而,这些混合方法往往遭受高计算和空间复杂性,限制其临床适用性.
研究的目的:
- 开发一个计算效率高的混合模型用于医疗图像细分.
- 解决现有的CNN-变压器融合模型中高复杂性的局限性,用于资源有限的临床环境.
主要方法:
- 一个使用双蒸方案的新型模型,在不牺牲效率的情况下利用互补的CNN和变压器优势.
- 引入一个多尺度先验知识蒸 (MPD) 模块,以便有效地从变压器特征中蒸多尺度知识.
- 在学生网络中开发一个高效和强大的选择性融合模块,以补充知识蒸过程.
主要成果:
- 针对14个网络框架,对SipakMed和ISIC 2017数据集进行了广泛的评估.
- 拟议的模型在平均交叉点在欧盟,平均子系数和平均对称表面距离方面显著优于现有方法.
- 已证明计算资源的减少,包括模型参数和浮点运算每秒.
结论:
- 开发的方法有效地整合了CNN和变压器的优势,用于医学图像细分.
- 实现卓越的细分精度和降低计算复杂性,证实其适用于临床应用的适用性.
