非对称的适应性异质网络用于多模式医疗图像细分

科学领域:

• 医学成像医学成像
• 计算机视觉 计算机视觉 计算机视觉
• 人工智能的人工智能是人工智能.

背景情况:

• 当前的多模式医疗图像细分方法经常在不歧视的情况下汇总数据.
• 现有的方法忽视了不同模式对视觉表示和决策的不同贡献.

研究的目的:

• 提出一个不对称的自适应异质网络,用于多模态图像特征提取与模态歧视和自适应融合.
• 通过实现多模式图像特征的分开处理和融合来解决当前方法的局限性.

主要方法:

• 开发了一种异质的两流不对称特征桥接网络,用于从辅助和领先的单模图像中提取互补特征.
• 引入了变压器-CNN特征对齐和融合 (T-CFAF) 模块,以增强领先的单模信息.
• 实现了跨模态异质图形融合 (CMHGF) 模块,用于多模态特征的自适应性高级语义融合.

主要成果:

• 与十种现有的细分模型相比,证明了显著的效率增长.
• 在六个不同的数据集中实现了极具竞争力的细分精度.
• 拟议的不对称网络有效地处理多模式医疗图像中的异质性.

结论:

• 拟议的非对称自适应异质网络为多模式医疗图像细分提供了一种优越的方法.
• 模式歧视和自适应融合对于最大限度地利用多模式数据至关重要.
• 该方法为推进医学图像分析和细分提供了一个有希望的方向.