自主监督的多模式训练从未处理的图像和报告使得监测AI在放射学
Sangjoon Park1, Eun Sun Lee2, Kyung Sook Shin3
1Department of Radiation Oncology, Yonsei College of Medicine, Seoul, Republic of Korea.
Medical image analysis
|November 12, 2023
概括
我们开发了一种新的医学交叉注意力视觉语言 (医学X-VL) 模型,用于监测医疗保健中的人工智能 (AI). 这种人工智能监控系统擅长识别医疗数据中的人类错误,提高患者安全.
科学领域:
- 医疗保健中的人工智能
- 医学图像分析 医学图像分析
- 计算机视觉和自然语言处理
背景情况:
- 人工智能系统越来越需要监测医疗保健中的人类错误.
- 由于数据稀缺,目前视觉语言模型 (VLM) 在医学领域的成功有限.
- 现有的VLM需要大规模的图像文本数据集,这在医学上往往是不可行的.
研究的目的:
- 为了解决目前VLM在医疗应用中的局限性.
- 开发一种专门的视觉语言模型,用于监控人工智能和检测医疗保健中的人类错误.
- 为医疗领域的人工智能监控任务提供零射击学习能力.
主要方法:
- 介绍了为医疗领域量身定制的医疗交叉注意力视觉语言 (医学X-VL) 模型.
- 利用自我监督的单模模型,融合编码器,动量蒸和句式对比学习.
- 嵌入式句子相似度调整硬负挖矿用于从医疗报告中增强学习.
主要成果:
- 在各种零射击AI监控任务中证明了该模型的有效性,包括分类和错误纠正.
- 在两个医学图像数据集上,与最先进的模型相比,实现了更高的性能.
- 展示了对细粒度理解的专业能力,这对医疗应用至关重要.
结论:
- 医学X-VL模型为临床环境中的AI监测提供了一种新的方法.
- 该模型可以通过改善医疗保健中的AI监督来有效地减轻人类错误.
- 对于细粒度的医学图像和文本分析具有明显的优势.
