SpectFusion:用于无监督多模式医疗图像融合的跨模式频谱意识注意网络

科学领域:

• 医学成像医学成像
• 人工智能的人工智能
• 信号处理 信号处理

背景情况:

• 深度学习,特别是基于变压器的方法,通过建模远程依赖,在医学图像融合方面表现出色.
• 由于局部注意力机制,现有的方法难以捕获全球信息,并且经常忽视光谱特征,限制了聚变性能.

研究的目的:

• 提出SpectFusion,一个无监督的跨模式频谱感知融合框架,用于增强医疗图像融合.
• 解决捕获全球信息和将光谱特征纳入当前深度学习融合方法的局限性.

主要方法:

• 开发了一个空间频谱混合区块,将局部空间特征的梯度保留和全球频率特征的富里埃卷积结合起来.
• 引入了一种跨模式的频谱意识注意力机制,用于融合期间的动态空间频谱信息交互.
• 包含了精细的注册模块,用于精确的图像对齐,并为联合约束定义了频率/空间域损失.

主要成果:

• 与最先进的方法相比,SpectFusion在医学图像融合任务 (包括脑瘤成像) 中表现出优越的质量和数量性能.
• 该框架通过利用空间频谱信息交互来通过适应性实现细粒度融合.
• 在下游任务中,SpectFusion提高了性能,例如多式联络医疗图像分割.

结论:

• 通过有效地整合空间和光谱信息,SpectFusion为无监督医疗图像融合提供了显著的进步.
• 拟议的框架提高了诊断准确性和下游任务性能,显示了临床应用的前景.
• 该研究强调了考虑空间和光谱领域对于强大的医疗图像融合的重要性.