混合多视图MRI融合用于csPCa通过视内和视间变压器进行诊断

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 在瘤学瘤学.

背景情况:

• 临床上显著的前列腺癌 (csPCa) 的准确诊断对于治疗至关重要.
• 当前的深度学习方法通常会因为迟到的融合策略而失去空间信息.
• 现有的视觉变压器有很高的内存需求,而Swin变压器仅限于单个视图.

研究的目的:

• 开发一种新的混合融合框架,以改善从多视图核磁共振扫描 (MRI) 中的csPCa诊断.
• 为了克服晚期融合的局限性,视觉变压器和旋转变压器.
• 增强空间连贯性和细粒度特征集成,以提高诊断性能.

主要方法:

• 提出了一个混合融合框架,具有跨分辨率的代内视和内视交互.
• 利用基于Vision Transformer的交叉视图模块,并使用桥梁令牌来有效地总结交叉视图信息.
• 采用基于Swin变压器的内视模块,用于在窗口内进行动态补丁和令牌交互.
• 整合了共享的位置嵌入,以保持MRI视图 (轴向,斜向,冠状) 的空间对应.

主要成果:

• 拟议的混合框架在公共数据集上的csPCa分类中明显优于现有方法.
• 废弃性研究证实了各个框架组件的贡献.
• 注意地图可视化展示了不同MRI视图中解剖结构的有效整合.

结论:

• 新的混合融合框架有效地整合了多视图MRI数据,用于准确的csPCa诊断.
• 该方法保留了空间信息和解剖学对应,同时保持了计算效率.
• 这种方法为前列腺癌检测和治疗计划提供了有前途的进步.