基于表格的语言模型用于在急诊室的眼科评估
Juan M Lavista Ferres1, Shu Feng2, Mary Kim2
1AI for Good Research Lab, Microsoft, Redmond, WA, USA.
概括
像GPT-4o这样的大型语言模型可以准确地分析眼科诊断的电子健康记录. 这项技术显示了通过合成眼睛接触的表格数据来帮助临床医生的潜力.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能的人工智能
- 医疗信息学 医疗信息学
背景情况:
- 一般领域的大型语言模型 (LLM) 在医疗保健中越来越多地使用.
- 它们在眼科中的应用,特别是电子病历 (EMR) 的表格数据,仍未得到充分研究.
研究的目的:
- 在表格眼科数据上评估OpenAI的生成预训练变压器4o (GPT-4o) 的诊断和评估性能.
- 评估 GPT-4o 解释现实世界急诊室 (ED) 与眼睛相关的遭遇的能力.
主要方法:
- GPT-4o以表格格式使用思维链 (CoT) 提示处理了来自EMR的1,419个与眼睛相关的ED遭遇.
- 绩效由经过董事会认证的眼科医生评估,评估诊断和评估准确性.
- 评估了级别间协议,并测试了GPT-4o识别文档不一致性的能力.
主要成果:
- 在诊断和评估眼科接触时,GPT-4o的整体准确度为0.76 (95% CI,0.74-0.79).
- 无论输入数据的数量 (主要投诉,历史记录,检查) 如何,准确性都保持一致.
- 在排除了没有支持的文档或需要辅助测试的遭遇后,GPT-4o的准确性提高到0.87 (95% CI,0.85-0.89).
结论:
- GPT-4o在合成表格眼科数据以进行准确的诊断和评估方面表现出熟练.
- 该模型成功识别了缺乏EMR文档支持的遭遇.
- 这种LLM能力有可能帮助临床医生在眼科医学的诊断.


