针对罕见轨道疾病检测的多模式大语言模型的顺序敏感性分析
Chaoyu Lei1,2,3, Kaiyuan Ji4,5, Chen Zhao3
1Hainan Research Institute, Shanghai Jiao Tong University, Sanya, Hainan, China.
Communications medicine
|February 20, 2026
概括
多模式大语言模型 (MLLMs) 在诊断罕见的轨道疾病方面表现有前途. 整合不同的临床数据显著提高了MLLM诊断的准确性,有助于临床决策.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能的人工智能
- 医学诊断 医学诊断 医学诊断
背景情况:
- 由于临床意识有限,罕见的轨道疾病的延迟诊断是常见的.
- 之前的研究表明,多式大型语言模型 (MLLMs) 可以检测常见的眼部疾病.
研究的目的:
- 评估是否整合多式联络临床数据可以提高罕见轨道疾病的MLLM诊断准确度.
- 与传统和下一代模型相比,评估MLLM的性能.
主要方法:
- 一项跨国追溯研究分析了两个数据集.
- 一个对比的语言形象预训练 (CLIP) 模型被微调为初步分类.
- 一个MLLM (GPT-4o-Latest) 通过对多式联络输入的顺序灵敏度分析进行了评估,包括一个结合CLIP和GPT-4o-Latest的AI代理.
主要成果:
- CLIP模型实现了90.21%的初步检测准确度,超过了基线模型.
- 通过多式联络输入,MLLM的准确性得到了显著的改善;组合剂达到85.29%的top-5准确性.
- 生成的医疗报告和建议是准确的,易于阅读的,完整的,并具有很低的危害潜力.
结论:
- 在罕见的轨道疾病中,MLLM显示出提高诊断准确性的巨大潜力.
- 这项技术可以支持临床决策,并加强对罕见轨道疾病的患者护理.


