一个多式多领域多语言医疗基础模型,用于零射击临床诊断

科学领域:

• 医学成像和人工智能 医学成像和人工智能
• 在临床应用中使用自然语言处理 (NLP).
• 医疗保健中的多模式机器学习

背景情况:

• 放射学图像对于临床诊断至关重要,通常涉及疾病报告和分类.
• 放射学图像分析的监督学习方法需要广泛的标记数据,这对于罕见疾病或非英语背景来说很少.
• 对新型或罕见疾病的数据收集是耗时的,昂贵的,通常是不切实际的.

研究的目的:

• 开发使用放射学图像进行临床诊断的强大解决方案,解决数据稀缺的挑战.
• 创建一个能够处理多模式 (图像和文本),多域 (各种疾病类型) 和多语言数据的模型.
• 提高罕见疾病和非英语地区的诊断准确度.

主要方法:

• 介绍了多模多域多语言基础模型.
• 利用基础模型架构来克服有限的标记数据监督学习的局限性.
• 跨多种数据集的应用,包括传染病和非传染病.

主要成果:

• 拟议的模型在9个不同的数据集中展示了令人鼓舞的性能.
• 即使标记数据很少或完全不存在,这种方法也有效,特别是对于罕见疾病.
• 在传染病和非传染病类别中成功应用.

结论:

• 多模多域多语言基础模型为改善放射学图像分析在具有挑战性的数据场景中提供了一个有希望的解决方案.
• 这种方法对全球卫生公平有重大影响,因为它支持在资源不足的语言和罕见疾病中进行诊断.
• 该模型在不同领域和语言的多功能性为在临床实践中更广泛采用铺平了道路.