一个综合的语言视觉基础模型用于初级眼科护理中的对话诊断和分类

科学领域:

• 医疗保健中的人工智能
• 眼科医生 眼科 眼科
• 医学诊断 医学诊断 医学诊断

背景情况:

• 主要的眼科护理面临着技术专业人员短缺的挑战.
• 准确及时诊断眼部疾病对于患者的治疗结果至关重要.
• 现有的人工智能模型可能缺乏全面的眼科诊断综合能力.

研究的目的:

• 引入Meta-EyeFM,这是一个综合的语言视觉基础模型,用于初级眼科护理中的对话诊断和分类.
• 评估Meta-EyeFM在检测眼部疾病,区分严重程度,识别症状和预测系统性疾病方面的诊断性能.
• 将Meta-EyeFM的准确性与现有的LLM和人类分级器进行比较.

主要方法:

• 通过将一个大型语言模型 (LLM) 与八个特定任务的视觉基础模型 (VFMs) 集成,开发Meta-EyeFM.
• 用户查询和基金照片的动态路由到最合适的VFM.
• 使用诸如接收器操作曲线下的面积 (AUC) 等指标来评估性能,用于疾病检测,严重程度差异化,标志识别和系统状况预测.

主要成果:

• 在检测眼部疾病 (AUC ≥91.2%),区分严重程度 (AUC ≥82%),识别症状 (AUC ≥77.9%) 和预测糖尿病 (AUC ≥79.8%) 中,Meta-EyeFM实现了高准确度.
• 与Gemini-1.5-flash和GPT-4o LLMs相比,该模型显示出更高的精度 (11%-43%更高).
• 在检测各种眼病方面,Meta-EyeFM的表现通常优于初级眼科医生和眼科医生.

结论:

• 在社区眼科护理机构中,Meta-EyeFM 作为一种有价值的诊断决策支持工具.
• 它的对话界面和通用性增强了它对视力查和疾病选的实用性.
• 人工智能模型提供了一个可扩展和可解释的解决方案,以解决全球眼睛护理专业知识的短缺问题.