MT-SCnet:用于微观超频谱图像分割的多尺度令牌分割和空间通道融合变压器网络

科学领域:

• 医学成像医学成像
• 计算病理学计算病理学
• 医学中的人工智能

背景情况:

• 微观超谱图像 (MHSI) 分段对于分析组织和细胞结构至关重要.
• 现有的混合CNN-变压器模型由于固定的代币化和单维融合,在全球功能提取不足的情况下扎.
• 病理图像分析需要强大的方法来捕捉本地细节和全球背景.

研究的目的:

• 引入一个新的多尺度令牌分割和空间通道融合变压器网络 (MT-SCnet),以改善MHSI细分.
• 解决当前超光谱病理图像分析中全球特征提取不足的局限性.
• 提高MHSI病变组织和细胞的细分精度.

主要方法:

• 开发了一种使用镜像填充的多尺度令牌分割模块,用于增强特征表示和令牌间信息融合.
• 设计了一种具有交叉注意力融合块的新型空间通道融合变压器,以捕捉更丰富,多维的特征并弥合语义差距.
• 在解码器中内置可变形卷曲,以改善空间信息恢复.

主要成果:

• 在两个MHSI数据集上,MT-SCnet与现有方法相比表现优越.
• 拟议的网络有效地捕捉了局部细节和全球结构背景在超谱病理图像中.
• 实验证实了MT-SCnet在细分病变组织和细胞方面的增强能力.

结论:

• 在MHSI细分方面,MT-SCnet提供了显著的进步,特别是在超光谱病理图像方面.
• 网络的多尺度令牌划分和空间通道融合有效地克服了以前方法的局限性.
• 这项工作为计算病理学提供了强大的工具,并为诊断应用开辟了新的途径.