自动定量SARS-CoV-2肺炎与大视觉模型知识适应的自动定量
Zhaohui Liang1, Zhiyun Xue1, Sivaramakrishnan Rajaraman1
1Computational Health Research Branch, National Library of Medicine, National Institutes of Health, Bethesda, MD, USA.
New microbes and new infections
|September 10, 2024
概括
我们开发了一种低成本的人工智能 (AI) 模型,使用大视觉模型 (LVM) 准确量化SARS-CoV-2肺炎的严重程度. 这种方法实现了最先进的结果,与在更大的数据集上训练的模型可比.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 计算机视觉 计算机视觉
背景情况:
- 大视觉模型 (LVM) 擅长从大型数据集中理解视觉模式和语义信息.
- 从胸部X射线 (CXR) 量化SARS-CoV-2肺炎的严重程度对于患者的管理至关重要.
- 为医疗图像分析开发具有成本效益的AI解决方案仍然是一个重大挑战.
研究的目的:
- 为低成本的人工智能模型提出一种新的知识领域适应方法,使用预训练有素的LVM.
- 使用前部CXR图像准确量化SARS-CoV-2肺炎的严重程度.
- 为了适应医疗图像分析任务的LVMs与有限的数据.
主要方法:
- 使用预训练的LVM作为主要的特征提取器.
- 雇员自主监督对比学习以适应领域.
- 在2599张CXR图像的数据集上训练了一个特征提取的编码器和一个用于严重性预测的多层感知器 (MLP).
主要成果:
- 基于视觉变压器 (ViT) 的模型实现了最佳性能.
- 实现了23.83的平均平方误差 (MSE) 和3.64的平均绝对误差 (MAE).
- 证明了高预测相关性 (r=0.81,斯皮尔曼 ρ=0.80),与最先进的方法可比.
结论:
- 拟议的方法在量化SARS-CoV-2肺炎严重程度方面实现了最先进的性能,成本显著降低.
- 该方法证明了用预训练的LVMs进行医疗成像领域适应的有效性.
- 该方法有可能扩展到其他传染病检测和量化任务.
