增强和评估基于深度学习的分类体积神经成像与3D到2D知识蒸的3D到2D知识蒸
Hyemin Yoon1, Do-Young Kang2,3, Sangjin Kim4
1Department of Management Information Systems, Dong-A University, 225, Gudeok-ro, Seo-gu, Busan, 49236, Republic of Korea.
Scientific reports
|November 28, 2024
概括
这项研究引入了一个3D到2D知识蒸框架,以改善神经成像分析的深度学习. 该方法通过结合3D体积数据来提高2D卷积神经网络 (CNN) 的性能,在帕金森病数据集中实现了优越的病变分类.
科学领域:
- 医学成像分析 医学成像分析
- 神经科学中的深度学习
- 计算病理学计算病理学
背景情况:
- 深度学习,特别是3D卷积神经网络 (CNN),越来越多地用于神经成像分析.
- 为3D CNN获得大型医疗数据集是具有挑战性的,因为成本高,注释要求广泛.
- 现有使用2D CNNs在投射片上的现有方法只捕获部分体积信息,风险不完全理解切片间关系.
研究的目的:
- 提出一种新的3D到2D知识蒸框架,以提高2D CNN在神经成像中的性能.
- 为了利用3D数据集的体积预先知识来训练更轻的2D CNN模型.
- 通过更好地理解体积数据中的相互关系,改进病变诊断系统.
主要方法:
- 开发了一个3D教师网络,从3D神经成像数据中编码体积预先的知识.
- 利用2D学生网络从投影的2D切片中学习,同时旨在理解原始的3D成像.
- 引入了蒸损失,以尽量减少3D教师和2D学生网络之间的特征嵌入差异.
主要成果:
- 拟议的框架显著提高了各种2D投影方法的分类性能.
- 在帕金森氏症进展标志物倡议 (PPMI) 数据集 (123I-DaTscan SPECT和18F-AV133 PET) 上应用时,该方法显示出更高的准确性.
- 在与FuseMe方法集成时获得了98.30%的优异F1得分,超过了3D教师网络的97.66%.
结论:
- 3D-to-2D知识蒸框架有效地将体积信息转移到2D CNN,以改进神经成像分析.
- 这种方法为利用丰富的3D数据在资源有限的医学成像场景中提供了可行的解决方案.
- 该方法对开发更强大,更准确的神经退行性疾病 (如帕金森氏症) 诊断系统充满希望.
