BAF-Net:双向注意力意识流体金字塔特征集成的多式联络融合网络用于诊断和预后

科学领域:

• 医疗成像中的人工智能
• 多模式医疗图像融合技术
• 深度学习用于医学诊断

背景情况:

• 传统的多式联络融合策略 (输入级,特征级,输出级) 在医学图像分析方面存在局限性.
• 整合来自不同成像模式的信息,如PET和CT,对于准确的诊断和预后至关重要.
• 需要先进的融合技术,能够处理跨模态相互作用,并保留单模态特征.

研究的目的:

• 提出一种新的双向注意力感知流体金字塔功能集成的融合网络 (BAF-Net),以克服现有融合方法的缺陷.
• 通过有效的跨模式互动,增强多式医学图像诊断和预后.
• 改善层次特征的整合,减轻跨模式跨层次的不兼容性.

主要方法:

• 开发了BAF-Net,用于单模特征的两个相同分支,以及用于跨模特同化的双向注意力意识蒸流.
• 利用流体金字塔连接来整合层次特征和通道智能的注意模块来解决不兼容性.
• 采用深度可分离的卷积,以有效地融合跨模式,跨层面的特征,减少参数增加.

主要成果:

• 与PET-CT数据集上的传统方法相比,BAF-Net在区分肺癌和肺结核方面取得了更好的表现 (AUC = 0.7342).
• 在头癌数据集上,BAF-Net显示出优异的整体生存预测 (C指数=0.7241),超过了输入,特征和输出级别的融合.
• 废弃性研究证实了BAF-Net中所有设计模块在诊断和预后任务中的有效性.

结论:

• 与传统的融合策略和用于医疗图像诊断和预后的单模网络相比,BAF-Net提供了卓越的性能和稳定性.
• 拟议的网络有效地整合了多式联运信息,从而提高了临床应用的准确性.
• BAF-Net代表了多式联络医疗图像融合的重大进步,以改善患者护理.