使用基底图像和文本元数据在具有嵌入式机器学习分类器中的多模式方法来预测自我报告糖尿病的年份 - - 一个探索性分析

科学领域:

• 眼科医生 眼科 眼科
• 医疗成像医学成像
• 机器学习 机器学习

背景情况:

• 糖尿病诊断的持续时间对于患者的管理至关重要.
• 预测糖尿病持续时间可以帮助识别那些不知道自己的病情的人.
• 机器学习为使用多式联络数据预测疾病进展提供了潜力.

研究的目的:

• 开发和评估一种机器学习模型,用于预测自我报告的糖尿病持续时间.
• 评估使用 fundus 图像中的图像和文本嵌入用于糖尿病持续时间预测的可行性.

主要方法:

• 利用了巴西多标签眼科数据集,包括40岁以上没有糖尿病视网膜病变的人的 fundus 图像和元数据 (性别,年龄,并发症,胰岛素使用).
• 使用MedCLIP模型提取图像和文本嵌入.
• 使用额外树木分类器预测糖尿病持续时间分为0-4,5-9,10-14和15年以上的类别.

主要成果:

• 该模型的整体F1得分为57%,0-4岁组的准确率为55%,15岁以上组的准确率为64%.
• 15岁以上的年龄组显示出最高的精度 (64%) 和F1得分 (63%).
• 0-4岁组的回忆率最高 (69%).

结论:

• 机器学习模型表现出可接受的准确性和F1分数来预测糖尿病持续时间.
• 使用大型基础模型用于图像和文本嵌入的方法是估计自己报告的糖尿病患者生活数年的可行和有效方法.