MM-Net:一个基于MixFormer的多尺度网络,用于解剖和功能图像融合

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 多模态图像融合在医学和生物学中至关重要.
• 深度学习 (DL) 方法主导着多模式图像融合.
• 现有的DL方法与地方/全球特征和规模多样性作斗争.

研究的目的:

• 提出MM-Net,一个基于MixFormer的多尺度网络,用于增强解剖和功能图像融合.
• 解决捕捉当地特征,全球背景和特征规模多样性的局限性.

主要方法:

• 使用了改进的MixFormer骨干来进行多尺度的特征提取.
• 采用跨模式特征融合 (CMFF) 模块,具有多源空间注意力.
• 集成的多尺度特征交互 (MSFI) 和特征聚合样本 (FAU) 模块.
• 开发了一种混合损失函数,将空间和频率域组件结合起来.

主要成果:

• 与最先进的方法相比,MM-Net在定性和定量评估中表现优越.
• 拟议的融合模型在不同的数据集中表现出强大的概括能力.
• 实验结果验证了拟议的架构和融合战略的有效性.

结论:

• MM-Net成功地解决了在图像融合中的本地/全球特征提取和规模多样性的挑战.
• 拟议的方法在解剖和功能图像融合方面取得了重大进展.
• 开发的网络为各种医学和生物成像应用提供了强大的工具.