评估人工智能生成的Descemet膜内皮皮质切除术患者说明书的准确性,可读性和可靠性
Bnar Massraf1, Ka Kiu Cheris Chan1, Nikhil Jain1
1North West Anglia NHS Foundation Trust, Peterborough, UK.
European journal of ophthalmology
|August 28, 2025
概括
大型语言模型 (LLM) 可以生成 Descemet 膜内皮角膜整形手术 (DMEK) 的患者信息传单. 克劳德3.7索内特在LLM中表现最好,但临床医师的监督对于准确性和安全性至关重要.
科学领域:
- 眼科 眼科
- 医疗信息学
- 医疗保健中的人工智能
背景情况:
- 患者信息传单对于知情同意和手术准备至关重要.
- 评估人工智能产生的医疗信息质量对于患者安全至关重要.
- 德塞米特膜内皮角膜整形术 (DMEK) 是一种专门的角膜移植手术.
研究的目的:
- 评估LLM生成的DMEK患者信息传单的可读性,可靠性和准确性.
- 将LLM生成的传单与临床医生撰写的标准进行比较.
- 确定最佳的LLM来创建患者友好的DMEK手术信息.
主要方法:
- 七名LLM被要求创建DMEK患者信息传单.
- 使用可读性指标 (FKG,FRE,ARI,枪雾) 评估了传单.
- 评估了可靠性 (DISCERN,PEMAT),错误信息和引用;一个评分系统将结果规范化.
主要成果:
- 临床医生生成的说明书获得了最高分 (92%).
- 克劳德3.7索内特 (77.8%) 是表现最好的LLM,表现出良好的可读性和引用性.
- 其次是ChatGPT-4o (70.9%),但没有引用;其他LLM的得分中等到低.
结论:
- 通过LLM,可以产生DMEK的患者教育材料.
- 在LLM生成的传单可靠性和准确性方面存在显著差异.
- 在临床应用之前,必须对LLM产生的内容进行临床审查.
