交叉尺度融合变压器用于组织病理图像分类

科学领域:

• 数字病理学数字病理学
• 医学图像分析 医学图像分析
• 人工智能在医学中的应用

背景情况:

• 组织病理学图像对于疾病诊断至关重要,但病理学家的可用性和图像变异性带来了挑战.
• 现有的方法难以处理各种图像尺度和放大,阻碍了可通用的解决方案.
• 需要自动化组织病理学图像分类来支持病理学家并提高诊断效率.

研究的目的:

• 提出一种新的交叉尺度融合 (CSF) 变压器,用于强大的基因病理图像分类.
• 开发一种有效集成多视场补丁嵌入的方法.
• 解决现有方法在处理器官,细胞大小和放大因子变化的局限性.

主要方法:

• 拟议的CSF变压器使用多个视野补丁嵌入模块.
• 它结合了变压器编码器和新型交叉融合模块来整合信息.
• 架构从不同的补丁嵌入中学习交叉规模的上下文相关性.

主要成果:

• 与最先进的方法相比,CSF变压器在四个公共数据集上表现出更高的性能.
• 它有效地整合了来自不同视野的补丁嵌入,捕捉了跨规模的上下文相关性.
• 该方法比基于卷积神经网络和其他基于变压器的方法取得了更好的结果.

结论:

• 脑脊液变压器为组织病理图像分类提供了有效和可通用的解决方案.
• 它以提高效率解决了与图像可变性和病理学家工作量相关的挑战.
• 拟议的架构显示了在数字病理学中推进自动化疾病诊断的前景.