从嵌入到精度:比较放射分类的基础模型

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 机器学习 机器学习

背景情况:

• 基础模型为机器学习任务提供了强大的,可转移的嵌入式.
• 这些嵌入适用于各种领域,包括医学成像诊断.
• 轻量级适配器模型可以利用这些嵌入式进行高效的模型训练.

研究的目的:

• 评估基础模型衍生嵌入式用于训练轻型适配器模型在多类放射学分类.
• 将适配器模型的性能与卷积神经网络的端到端训练进行比较.
• 评估适配器模型的计算效率和公平性.

主要方法:

• 从7个基础模型 (DenseNet121,BiomedCLIP,Med-Flamingo,MedImageInsight,MedSigLIP,Rad-DINO,CXR-Foundation) 中提取了使用8842张X射线图的嵌入物.
• 训练过的适配器模型 (KNN,LR,SVM,RF,MLP) 使用这些嵌入式进行分类.
• 使用曲线下的平均面积 (mAUC) 和威尔科克森进行的签名等级测试和公平性分析来比较性能.

主要成果:

• 使用SVM或MLP适配器的MedImageInsight嵌入实现了最高的mAUC (93.1%),超过了完全微调的DenseNet121 (87.2%).
• 大多数适配器模型都证明了计算效率,在CPU上在几分钟内训练,在几秒钟内推断.
• 公平性分析显示,性别和年龄组之间的绩效差异很小.

结论:

• 基础模型嵌入,特别是来自MedImageInsight的嵌入,通过轻量级适配器实现准确,高效和公平的放射性诊断分类.
• 这种方法为临床应用的计算密集型端到端培训提供了切实可行的替代方案.
• 该研究证实了基础模型嵌入对于开发高性能和公平的医学成像AI工具的实用性.