ECAMP:以实体为中心的背景意识医疗视觉语言预培训
Rongsheng Wang1, Qingsong Yao2, Zihang Jiang3
1School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China (USTC), Hefei Anhui, 230026, China; Center for Medical Imaging, Robotics, Analytic Computing & Learning (MIRACLE), Suzhou Institute for Advance Research, USTC, Suzhou Jiangsu, 215123, China; Anhui IFLYTEK CO., Ltd., China.
Medical image analysis
|July 2, 2025
概括
新的以实体为中心的上下文意识医疗视觉语言预培训 (ECAMP) 框架通过更好地理解复杂的报告来改善医疗图像分析. 为了更准确的医疗AI任务,ECAMP增强了视觉编码器.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 自然语言处理自然语言处理.
背景情况:
- 目前的医学视觉语言预培训方法忽视了语言复杂性和报告中的数据不平衡.
- 现有的模型在医疗文本和图像之间的复杂的交叉模式关系中扎.
研究的目的:
- 引入以实体为中心的上下文意识医疗视觉语言预培训 (ECAMP) 框架.
- 加强视觉编码器的预培训,使用一种更以实体为中心,情境敏感和平衡的医疗报告方法.
主要方法:
- 从医疗报告中提取以实体为中心的上下文,使用大型语言模型进行精确的文本监督.
- 将实体意识的再平衡因素和描述符掩盖纳入掩盖语言建模中,以提高实体知识.
- 使用上下文导向的超分辨率任务和多尺度的上下文融合,以更好地整合图像表示.
主要成果:
- 在医学视觉语言预培训中,ECAMP比最先进的方法取得了显著的性能改善.
- 证明了对分类,细分和检测任务的尖端结果.
- 通过使用胸部X射线和脑后影像数据集,在各种领域和器官中验证了有效性.
结论:
- ECAMP为医学成像学跨模式预培训制定了一项新标准.
- 该框架有效地解决了AI现有的医疗报告分析的局限性.
- 对于推进人工智能驱动的医学诊断和分析,ECAMP显示出强大的潜力.
