双边网络以文本引导的聚合架构为肺部感染图像细分的双边网络

科学领域:

• 医疗图像分析 医学图像分析
• 医疗保健中的人工智能
• 计算机视觉 计算机视觉 计算机视觉

背景情况:

• 肺部图像细分对于诊断疾病至关重要,但目前的方法与各种感染形状和大小作斗争.
• 由于网络的局限性,现有的结合文本和图像数据的多式联网方法往往是低效和无效的.

研究的目的:

• 通过整合诊断报告和视觉信息,开发一种准确和高效的肺部图像细分方法.
• 在速度和性能方面克服现有多式联网的局限性.

主要方法:

• 提出了以文本导向聚合架构 (BNTGAA) 构建的双边网络,以全面融合本地和全球信息.
• 采用哈达马德产品实现了全球融合分支,用于文本视觉特征对齐.
• 使用了具有位置编码和跳过连接的多尺度交叉融合分支,输入到Mamba模块以进行高效的细分.

主要成果:

• 在定量和定性评估中,BNTGAA表现出卓越的准确性和效率.
• 在Qata-COVID19数据集上,在mIoU (3.08%) 和Dice分数 (2.35%) 中取得了显著的改进.
• 在计算速度方面表现优于现有的多式联网,即使使用部分训练数据,也表现出强的表现.

结论:

• 拟议的融合架构由Mamba骨干提供动力,有效地提高了肺部图像细分的准确性和效率.
• 在多个尺度上以文本为导向的聚合是架构性能提高的关键.
• 开发的BNTGAA为自动化肺部疾病理解提供了一个有前途的解决方案.