VSS-SpatioNet:用于多模式图像集成的多尺度功能融合网络
1College of Information Engineering, Henan University of Science and Technology, Luoyang, 471000, Henan, China. 221410060124@stu.haust.edu.cn.
Scientific reports
|March 19, 2025
概括
在医疗分析中,VSS-SpatioNet提供高效的红外和可见图像融合. 这种新的架构通过有效地整合本地和全球特征来提高诊断准确性,优于现有的方法.
科学领域:
- 计算机视觉 计算机视觉
- 医疗成像医学成像
- 人工智能的人工智能
背景情况:
- 可见红外图像融合 (vis-ir) 对于提高医学成像和生物分析的诊断准确性至关重要.
- 当前的卷积神经网络 (CNN) 和基于变压器的方法在建模全球依赖关系时面临着计算效率低下的问题.
研究的目的:
- 引入VSS-SpatioNet,这是一种轻量级的架构,旨在实现高效的视觉图像融合.
- 解决现有的深度学习模型在捕捉全球依赖性的计算局限性.
主要方法:
- 拟议的VSS-SpatioNet架构用视觉状态空间 (VSS) 模块取代了变压器的自我注意力,以实现高效的依赖性建模.
- 采用一个不对称的编码器-解码器结构,具有多尺度的自动编码器.
- 引入了一种新的VSS-空间 (VS) 融合块,用于集成的局部-全球特征表示.
主要成果:
- 在高 (En=7.0058) 和相互信息 (MI=14.0116) 的TNO数据集上,VSS-SpatioNet实现了最先进的性能.
- 在RoadScene数据集中,该框架超越了基于梯度的融合 (SF=0.5712),皮埃拉度量 (Q=0.7926) 和平均梯度 (AG=5.2994) 的先前方法.
- 与FusionGAN相比,VS策略在哈佛医学数据集上的Mean Gradient显著改善了18.7%,证实了增强的特征保存.
结论:
- VSS-SpatioNet证明了对视觉图像融合的有效性,提供了卓越的性能和计算效率.
- 框架保留特征的能力对于医学应用中精确的组织表征特别有益.
- 结果验证了VSS-SpatioNet作为医学图像分析的先进工具的潜力.


