基于变压器模型的囊内镜胃结构识别的深度学习应用
Qingyuan Li1, Weijie Xie2,3, Yusi Wang1
1Guangdong Provincial Key Laboratory of Gastroenterology, Department of Gastroenterology, Nanfang Hospital.
Journal of clinical gastroenterology
|March 8, 2024
概括
一个新的基于变压器的AI模型在囊内镜中准确识别胃结构,匹配内镜师的性能. 这一进步有助于诊断胃病变,并提高检查效率.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 胃肠病学 胃肠病学
背景情况:
- 在囊内镜中精确诊断胃病变依赖于有效的胃结构识别系统.
- 深度学习,特别是利用自我注意力的变压器模型,显示了胃肠道图像分析的前景.
- 目前在内镜图像识别中的深度学习应用需要进一步开发以获得临床实用性.
研究的目的:
- 开发一种人工智能 (AI) 模型,用于识别囊内镜图像中的胃结构.
- 提高深度学习技术在内镜图像识别中的临床应用性.
- 评估人工智能模型的诊断性能与人类内镜医生相比.
主要方法:
- 使用3343个无线囊内镜视频进行无监督预训练,其中2433个用于训练和118个用于验证.
- 选择了十五个上部胃肠 (GI) 结构用于定量检查质量评估.
- 将人工智能模型的分类性能与使用精度,灵敏度,特异性和预测值的内镜师进行比较.
主要成果:
- 基于变压器的AI模型在胃结构识别方面表现出高的诊断准确性.
- 人工智能模型实现了99.6%的宏观平均精度,96.4%的灵敏度和99.8%的特异性,用于识别15个上部肠道结构.
- 人工智能模型表现出与经验丰富的内镜师之间高度的观察者协议.
结论:
- 基于变压器的AI模型准确地评估了囊内镜的胃结构信息.
- 人工智能模型在评估胃结构时的表现与内镜师相似.
- 这种人工智能工具可以显著帮助医生从广泛的图像数据集进行诊断,从而提高检查效率.


