电视网:通过双分支网络的多式医疗图像融合,具有视觉变压器和一次性聚合

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 医学图像融合合成了来自不同成像模式的互补信息,以改善临床诊断.
• 现有的融合算法通常依赖于卷积神经网络 (CNN),限制它们捕捉远程依赖的能力,导致细节丢失和边缘模糊.

研究的目的:

• 提出一个新的双分支功能增强网络,TVNet,以实现有效的多式联络医疗图像融合.
• 为了利用视觉转换器 (ViT) 和CNN的优势,进行全面的特征提取.

主要方法:

• 电视网结合了ViT用于全球上下文和CNN用于本地特征提取,保留了详细的纹理和结构特征.
• 一个增强模块提取多个规模的信息,并从两个分支的功能有效地汇总.
• 混合损失函数优化了结构,特征和梯度层面的融合结果.

主要成果:

• 与七种最先进的方法相比,TVNet表现出更高的性能.
• 合并的图像表现出增强的主观视觉质量和客观指标.
• 该网络有效地保留了细节,并突出了结构特征.

结论:

• 电视网为多式联络医疗图像融合提供了有效的解决方案,解决了传统方法的局限性.
• 拟议的网络通过保护细节和结构完整性来增强诊断信息.
• 通过先进的图像融合技术,TVNet显示了改善临床诊断的巨大潜力.