MACTFusion:用于自适应多式医疗图像融合的轻量级交叉变压器

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 多式医疗图像融合集成了来自不同成像技术的信息.
• 深度学习,特别是视觉转换器,已经推进了图像融合.
• 现有的变压器在局部特征提取和交叉模式交互方面扎,限制了融合性能并增加了计算成本.

研究的目的:

• 开发一种适应性,无监督的医疗图像交叉模式融合策略.
• 解决当前基于变压器的方法在特征提取和集成方面的局限性.
• 为了提高融合医疗图像的清晰度和视觉质量,同时降低计算成本.

主要方法:

• 提出了一种轻量级的交叉变压器,具有交叉多轴注意力机制 (交叉窗口和交叉网格注意力).
• 集成了一个空间适应融合模块,以引导关注相关信息.
• 设计了一个特征提取模块,将卷积层和变压器层结合起来,用于多尺度的特征捕获.

主要成果:

• 拟议的战略显著提高了核聚变性能.
• 与最先进的方法相比,实现了更清晰的纹理细节和更高的视觉质量.
• 在临床脑瘤图像融合中表现出有效性,并将计算成本降至最低.

结论:

• 新型轻量级交叉变压器有效地解决了多式联络医疗图像融合方面的局限性.
• 该方法增强了本地和全球特征提取和集成.
• 结果表明,在无监督的医疗图像融合方面取得了重大进展,提供了更好的视觉结果和效率.