中枢神经系统-CLIP:将神经外科杂志转化为多模式医疗模型
Anton Alyakin1,2, David Kurland1, Daniel Alexander Alber1
1Department of Neurological Surgery, NYU Langone Health, New York , New York , USA.
Neurosurgery
|December 5, 2024
概括
一个新的特定领域的多式模式,CNS-CLIP,通过使用量身定制的数据,在神经外科任务中表现出色. 虽然在全球范围内不那么通用,但它显示了专注于专业医疗应用的AI开发的力量.
科学领域:
- 生物医学数据科学 生物医学数据科学
- 人工智能在医学中的应用
- 基金会模型 基金会模型
背景情况:
- 传统的生物医学模型是单一的模式和特定任务.
- 越来越多的趋势是使用各种数据进行训练的大型,任务不可知的基础模型.
- 较小,特定领域模型的潜力与一般性性能相匹配或超过.
研究的目的:
- 介绍一个特定于神经外科领域的多式模式:CNS-CLIP.
- 专门利用神经外科出版物中的数据进行培训.
- 在特定任务和大型基础模型之间探索中间路径.
主要方法:
- 从神经外科出版物中构建了一个多式联络数据集 (24,021个图形标题对).
- 为OpenAI的CLIP模型开发了一个微调协议.
- 在神经外科信息检索,CT成像分类和零射击ImageNet分类方面评估了CNS-CLIP.
主要成果:
- 中枢神经系统-CLIP在神经外科检索中实现了24.56%的Top-1精度,超过了基线 (8.61%).
- 在神经放射学任务中达到0.95的平均AUC,略高于OpenAI CLIP (0.94).
- 在一般主义分类中表现出灾难性遗忘 (47.55%的Top-1准确率与52.37%的基线相比).
结论:
- 利用医学协会的出版物,开创一个特定领域的多式联络模式的开发.
- 特定领域的模型在专业的环境中提供优势,尽管全球多功能性减少.
- 强调了定制数据和针对神经外科人工智能模型的专注开发的重要性.
