一种基于shearlet变换的深度学习子频段增强和融合方法,用于多模态图像

科学领域:

• 医疗成像医学成像
• 图像处理 图像处理
• 人工智能的人工智能

背景情况:

• 多模体医学图像融合 (MMMIF) 集成了各种成像类型的数据,以更好地诊断.
• 个别模式的限制会导致融合图像中的信息丢失.

研究的目的:

• 开发一种新的融合框架,以克服医疗图像融合方面的局限性.
• 通过提高融合图像质量,提高临床决策系统的可靠性.

主要方法:

• 提出了一个结合非亚样本的Shearlet转换 (NSST) 和卷积神经网络 (CNN) 的新框架.
• 使用NSST将源图像分解为低频系数 (LFC) 和高频系数 (HFC).
• 一个并发的否定和增强网络 (CDEN) 处理了子频段,随后使用AlexNet和脉冲合神经网络 (PCNN) 与新增总量修改拉普拉西安 (NSML) 度量进行了融合.

主要成果:

• 拟议的方法显著改善了边缘保护,实现了大约16.5%更高的QAB/F度量性能.
• 实验结果表明,与现有的融合算法相比,其性能优越.
• 主观的视觉评估和客观的质量指数都证实了拟议的融合技术的有效性.

结论:

• 拟议的基于NSST-CNN的融合框架有效地解决了多模式医疗图像中的信息退化问题.
• 这种先进的融合技术提高了诊断准确性,并支持临床决策.
• 该方法比传统的医疗图像融合算法提供了显著的改进.