多模式医疗内镜图像分析通过渐进式解意识对比学习
Junhao Wu1, Yun Li2, Junhao Li3
1Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, Guangdong, 518055, China; Department of Computer and Information Sciences, Towson University, Towson, MD, 21252, USA.
Medical image analysis
|March 7, 2026
概括
这项研究引入了一个新的AI框架,它结合了两种成像类型,白光成像 (WLI) 和窄带成像 (NBI),以改善喉瘤的细分,以便更好地诊断和治疗.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 精确细分喉瘤对于诊断和治疗规划至关重要.
- 单模成像通常缺乏精确瘤划分所需的综合特征.
- 整合多种成像方法可以提高对瘤特征的理解.
研究的目的:
- 开发和评估一个多模态表示学习框架,以改善喉喉瘤细分.
- 为应对医疗图像分析中模式差异的挑战.
- 通过结合WLI和NBI数据,提高瘤细分的准确性和稳定性.
主要方法:
- 一个新的对齐-解-融合框架,集成二维白光成像 (WLI) 和窄带成像 (NBI).
- 多尺度分布对齐,以协调不同变压器层的特征,并减轻模式差异.
- 渐进特征解,包括初步解和解意识的对比学习,以分离和利用模式特定和共享特征.
- 多模式对比学习和高效的语义融合,以提高细分性能.
主要成果:
- 拟议的框架显著优于现有的尖端方法在喉喉瘤细分.
- 在各种临床数据集和场景中表现出卓越的准确性和稳定性.
- 验证多尺度对齐和特征解策略的有效性.
结论:
- 多模态表示学习框架在喉喉瘤细分方面取得了重大进展.
- 通过先进的人工智能技术集成WLI和NBI可以提高诊断精度.
- 开发的方法为临床应用提供了强大而准确的解决方案,源代码可用于进一步研究.
