猪变压器在以内镜为基础的纵向直肠癌评估中对分布和概念漂移具有稳健性

科学领域:

• 人工智能在医学中的应用
• 医学成像分析 医学成像分析
• 胃肠道学和瘤学

背景情况:

• 内镜成像对于直肠癌的管理至关重要,从诊断到随访.
• 对内镜图像的主观评估导致对治疗反应的评估变化且可能不准确.
• 由于图像变化和治疗引起的变化,现有的深度学习方法缺乏对纵向直肠癌评估的稳定性.

研究的目的:

• 开发和评估一个强大的深度学习方法,用于自动检测直肠癌和使用内镜图像进行反应评估.
• 解决主观评估的局限性,提高治疗期间和治疗后癌症监测的准确性.

主要方法:

• 训练了一种层次移动窗口 (Swin) 变压器模型,以在内镜图像中区分直肠癌与正常组织.
• 在纵向后续图像上评估了Swin变压器以及ResNet-50,WideResNet-50和Vision Transformer模型.
• 模型在分布式 (ID) 私人数据集和分布式 (OOD) 公共结肠镜数据集上进行了测试,并模拟了颜色变化以评估稳定性.

主要成果:

• 斯温变压器和ResNet模型在分布式数据集上显示出类似的准确性.
• 与其他方法相比,Swin变压器对后续 (0.84) 和分布之外 (0.83) 数据集的准确度都更高.
• 即使在受到模拟色彩变化的情况下,Swin模型的性能也保持了强,在后续 (0.83) 和OOD (0.87) 数据上实现了高精度.

结论:

• 层次移动窗口 (Swin) 变压器提供了一种强大而准确的方法,用于使用内镜图像进行直肠癌的自动纵向评估.
• 这种深度学习方法可以克服固有的成像挑战和主观评估的变化,为患者管理提供客观见解.
• 斯温变压器在配送班次下保持性能的能力表明它在癌症监测的各种临床环境中具有可靠应用的潜力.