功能距离加权的自适应脱知识蒸用于医疗图像细分
Xiangchun Yu1, Ziyun Xiong1, Miaomiao Liang2
1Jiangxi Provincial Key Laboratory of Multidimensional Intelligent Perception and Control, School of Information Engineering, Jiangxi University of Science and Technology, Ganzhou, 341000, China.
概括
本研究介绍了用于医疗图像细分的特征距离加权自适应脱知识蒸 (FDWA-DKD). 我们的方法增强了从教师到学生网络的知识传输,提高了嵌入式设备的性能.
科学领域:
- 人工智能的人工智能
- 计算机视觉 计算机视觉
- 医疗成像医学成像
背景情况:
- 医疗图像细分的深度学习模型通常需要大量的计算资源,阻碍了对资源有限的嵌入式设备的部署.
- 知识蒸提供了一种方法,将知识从大型高性能模型转移到更小,更有效的模型.
研究的目的:
- 将解知识蒸 (DKD) 应用于医疗图像细分,使嵌入式设备上轻量级学生网络的部署成为可能.
- 在医学图像细分模型中提高知识转移的效率和有效性.
主要方法:
- 将蒸损失解为像素智能目标类知识蒸 (PTCKD) 和像素智能非目标类知识蒸 (PNCKD).
- 提出了一种新的特征距离加权自适应脱知识蒸 (FDWA-DKD) 方法,以解决 PTCKD 中固定权重的局限性.
- 引入了一个特征距离权重 (FDW) 模块,用于实例级自适应权重和一个类智能特征概率分布损失.
主要成果:
- 在Synapse和FLARE22数据集上,FDWA-DKD取得了最佳的Dice分数.
- 提出的方法显示了与教师网络相当的,在某些情况下甚至超过的性能.
- 废弃性研究证实了FDWA-DKD框架内的单个模块的有效性.
结论:
- 通过为PTCKD提供实例级的自适应权重,FDWA-DKD克服了传统的蒸约束.
- 量化学生-教师特征差异,并最大限度地减少类明智的特征概率分布损失,导致优异的表现.
- 该方法为在嵌入式系统上部署高性能医疗图像细分模型提供了可行的解决方案.
