一个多式深度学习模型用于检测近红外光囊的内镜图像
Junhao Wang1, Cheng Zhou2, Wei Wang2
1School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai, 200240, China; Institute of Medical Robotics, Shanghai Jiao Tong University, Shanghai, 200240, China.
Biosensors & bioelectronics
|February 28, 2025
概括
这项研究引入了一种新的AI模型,即多模态视网膜注意力YOLO (MRAY),用于使用囊内镜早期检测胃肠道疾病. MRAY显著提高了从联合白光和光图像中识别病变的准确性.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 胃肠病学 胃肠病学
背景情况:
- 对胃肠道 (GI) 疾病的早期查对于预防癌症至关重要.
- 囊内镜可提供非侵入性胃肠道检查,但面临着像低分辨率和不良照明等局限性.
- 手动审查囊内镜图像是耗时且容易出错的.
研究的目的:
- 开发和评估先进的深度学习模型,以使用囊内镜自动检测胃肠道异常.
- 提高检测细微的粘膜和膜下病变的准确性和效率,特别是在具有挑战性的成像条件下.
- 引入一种多式深度学习方法,将白光和近红外光成像相结合,以提高诊断性能.
主要方法:
- 开发一个改进的深度学习模型,Retinex-Attention-YOLO (RAY),基于YOLO对象检测框架的单模图像.
- 关于多式联络深度学习模型的建议,多式联络网膜注意力YOLO (MRAY),集成白光和近红外光 (NIRF-CE) 数据.
- 利用由NIRF-CE系统捕获的猪胃图像数据集,模拟人类的肠道,使用光探针来突出病变.
主要成果:
- 在检测胃肠道异常方面,MRAY模型获得了96.3%的高精度,超过了其他物体检测模型.
- RAY在异常检测方面表现出更高的准确性和效率,特别是在低光条件下.
- 废弃实验和与公共数据集的比较验证了MRAY的优越性能.
结论:
- 在临床实践中,MRAY模型对消化道癌症,和炎症的自动检测具有显著的前景.
- 综合白光和光成像的多式深度学习增强了囊内镜的诊断能力.
- 用人工智能驱动的囊内镜图像的分析可以克服手动审查的局限性,并改善早期疾病检测.
