在内镜图像上使用 convvit 混合模型进行增强的胃肠道疾病分类

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 胃肠病学 胃肠病学

背景情况:

• 内镜可使胃肠道的可视化用于疾病诊断.
• 精确处理内镜图像对于早期检测和治疗胃肠道疾病至关重要.
• 现有的深度学习模型在内镜图像中捕获本地和全球特征方面存在局限性.

研究的目的:

• 开发一种混合的卷积神经网络 (CNN) 和视觉转换器 (ViT) 模型,称为ConvViT.
• 为了提高在胃肠道内镜图像中检测病理的分类准确性和可靠性.
• 利用CNN的互补优势进行本地特征提取和ViT用于全球依赖性建模.

主要方法:

• 开发了一个混合的ConvViT模型,集成CNN和ViT架构.
• 将ConvViT的性能与已建立的模型进行比较:VGG-16,ResNet-50,Inception-V3和ViT.
• 利用了多样化的胃肠道内镜图像数据集,包括,息肉,炎症,出血和正常解剖.

主要成果:

• 与所有基准模型相比,ConvViT模型显示出更高的预测性能.
• 在识别各种胃肠道病理方面达到95.87%的分类准确度.
• 混合方法有效地结合了局部空间特征检测和远程依赖模型.

结论:

• 混合式ConvViT模型为分类胃肠道内镜图像提供了更高的准确性和可靠性.
• 这种人工智能驱动的方法具有很大的潜力,可以促进胃肠道疾病的早期诊断.
• ConvViT代表了胃肠病学医学图像分析的一个有前途的进步.