一个新的多模型医疗图像融合框架,具有边缘增强和跨尺度变压器
Fei Luo1, Daoqi Wu2, Luis Rojas Pino3
1East China University of Science and Technology, School of Information Science and Engineering, Shanghai, 200237, China. luof@ecust.edu.cn.
Scientific reports
|April 4, 2025
概括
通过保留利的边缘和高对比度,ECFusion 增强了多式联络医疗图像融合. 这种新的框架可以提高医学成像应用中的诊断准确性.
科学领域:
- 医学成像医学成像
- 计算机视觉 计算机视觉 计算机视觉
- 图像处理 图像处理
背景情况:
- 多式医疗图像融合 (MMIF) 集成了各种成像类型的数据,以提高图像质量和临床效用.
- 当前的MMIF技术往往无法保存关键边缘细节和图像对比度,阻碍了准确的诊断和治疗计划.
研究的目的:
- 引入ECFusion,这是一个新的MMIF框架,旨在通过保留边缘信息和增强对比度来克服现有方法的局限性.
- 改进边缘细节的表示和保存,提高融合医学图像的全球一致性.
主要方法:
- ECFusion使用边缘增强模块 (EAM) 与Sobel操作符进行边缘特征提取.
- 一个交叉尺度变压器融合模块 (CSTF) 与一个分层交叉尺度嵌入层 (HCEL) 捕获多尺度的上下文信息.
- 采用多路径融合策略来解开深层和浅层特征,最大限度地减少特征损失.
主要成果:
- 与U2Fusion,EMFusion,SwinFusion和CDDFuse等最先进的方法相比,ECFusion在保护更利的边缘和更高的对比度方面表现出了卓越的表现.
- 对CT-MRI,PET-MRI和SPECT-MRI融合任务的定量评估显示,在相互信息 (MI) 和结构相似性 (Qabf,SSIM) 等指标上有显著的改善.
- 增强的视觉感知指标 (VIF,Qcb,Qcv) 进一步验证了ECFusion的有效性.
结论:
- 在多式联络医疗图像融合方面,ECFusion提供了显著的进步,有效地解决了边缘和对比度保护的挑战.
- 拟议的框架提供了更清晰,更高对比度的融合图像,这对于提高临床环境中的诊断准确性和治疗规划至关重要.
