结合变化和深度学习技术,对视频囊内镜图像进行分类
Bhavana Singh1, Pushpendra Kumar2, Shailendra Kumar Jain3
1Department of Mathematics, Bioinformatics & Computer Applications, Maulana Azad National Institute of Technology, Bhopal, 462003, India. 213104004@stu.manit.ac.in.
Journal of imaging informatics in medicine
|January 3, 2025
概括
这项研究引入了一个新的深度学习框架,用于对视频囊内镜图像进行分类,通过分析动态视觉信息来更准确地识别病变来改善癌症检测.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 胃肠病学 胃肠病学
背景情况:
- 胃肠道癌症是一个重大的健康挑战,死亡率高.
- 视频囊内镜产生大量的数据,需要临床医生进行广泛的分析以检测异常.
- 当前的深度学习方法经常使用静态图像,将分析限制在空间信息和二进制分类上.
研究的目的:
- 开发一个自动化框架,对视频囊内镜图像进行多类分类.
- 利用动态图像信息来提高病变的检测和分类.
- 提高计算机辅助诊断在胃肠道检查中的效率和准确性.
主要方法:
- 提出了一个新的框架,将分数顺序变量模型与深度学习 (DL) 模型相结合.
- 分数顺序变化模型估计光流色图以捕获动态图像信息.
- 灵感来自于以EfficientNet B0骨干为基础的Faster R-CNN的DL模型,可以进行多类分类和区域本地化.
主要成果:
- 拟议的框架实现了0.98.98的平均AUC.
- 该模型显示平均平均精度 (mAP) 为0.93.
- 获得了0.878的平衡精度,表明了分类和检测的高性能.
结论:
- 开发的模型有效用于视频囊内镜图像分类和感兴趣区域检测.
- 整合动态信息显著提高了深度学习模型在这个领域的能力.
- 该框架有望改善早期检测胃肠道异常,并可能降低癌症死亡率.
