梅德菲利普:医学精细化语言图像预培训

科学领域:

• 人工智能的人工智能
• 医学成像分析 医学成像分析
• 计算机视觉 计算机视觉

背景情况:

• 医学视觉语言预训练 (VLP) 对于医学图像分析至关重要.
• 当前的VLP模型难以准确的图像疾病关联,影响诊断的准确性.

研究的目的:

• 介绍MedFILIP,一个细粒度的VLP模型,旨在改善医疗图像分析.
• 加强医学图像与疾病之间的关联的表征.

主要方法:

• 利用基于大型语言模型的信息提取器进行全面的疾病细节提取.
• 开发了一个知识注入器,以建立视觉属性和类别之间的关系.
• 实现了一个语义相似度矩阵,并加上细粒度的注释,以改善图像-文本对齐.

主要成果:

• 在单标签,多标签和细粒度分类任务中实现了最先进的性能.
• 在分类准确度方面表现出显著的改进,最高增长6.69%.
• 在包括RSNA-肺炎,NIH胸部X射线14,VinBigData和COVID-19在内的各种数据集上得到验证.

结论:

• MedFILIP有效地解决了当前医疗VLP模型中的局限性.
• 该模型显示了促进准确和全面的医学图像分析和诊断的巨大潜力.