双分支多任务回归器和变压器模型用于内镜图像分类

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 胃肠病学 胃肠病学

背景情况:

• 结肠癌的内镜诊断对于早期检测至关重要.
• 手动图像分析是耗时的,需要专家的解释.
• 自动图像分类为提高效率提供了有价值的解决方案.

研究的目的:

• 为内镜图像开发一种新的多标签分类方法.
• 整合本地和全球特征学习以提高分类准确性.
• 通过自动化图像分析,改善结肠癌的早期诊断.

主要方法:

• 一个混合型号,结合了Swin变压器 (全球功能) 和修改后的VGG16-CNN (本地功能).
• 将突出地图和纹理功能纳入多任务学习框架,以提高CNN的性能.
• 使用Kvasir-v2数据集进行培训和评估.

主要成果:

• 拟议的模型实现了96.08%的F1得分和96.06%的准确性.
• 在内镜图像分类方面表现优于现有的最先进方法.
• 在从内镜图像中识别结肠癌方面表现出卓越的性能.

结论:

• 开发的AI模型显示了在结肠癌诊断中临床应用的巨大潜力.
• 当地和全球特征的整合提高了分类准确性.
• 这种方法可以使结肠癌的早期检测更有效,更准确.